JAL-3949 fixed failing commandlinetests due to more output and line count limit
[jalview.git] / src / jalview / analysis / CrossRef.java
1 /*
2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
4  * 
5  * This file is part of Jalview.
6  * 
7  * Jalview is free software: you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License 
9  * as published by the Free Software Foundation, either version 3
10  * of the License, or (at your option) any later version.
11  *  
12  * Jalview is distributed in the hope that it will be useful, but 
13  * WITHOUT ANY WARRANTY; without even the implied warranty 
14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR 
15  * PURPOSE.  See the GNU General Public License for more details.
16  * 
17  * You should have received a copy of the GNU General Public License
18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
19  * The Jalview Authors are detailed in the 'AUTHORS' file.
20  */
21 package jalview.analysis;
22
23 import jalview.datamodel.AlignedCodonFrame;
24 import jalview.datamodel.Alignment;
25 import jalview.datamodel.AlignmentI;
26 import jalview.datamodel.DBRefEntry;
27 import jalview.datamodel.DBRefSource;
28 import jalview.datamodel.Mapping;
29 import jalview.datamodel.Sequence;
30 import jalview.datamodel.SequenceFeature;
31 import jalview.datamodel.SequenceI;
32 import jalview.util.DBRefUtils;
33 import jalview.util.MapList;
34 import jalview.ws.SequenceFetcherFactory;
35 import jalview.ws.seqfetcher.ASequenceFetcher;
36
37 import java.util.ArrayList;
38 import java.util.Iterator;
39 import java.util.List;
40
41 /**
42  * Functions for cross-referencing sequence databases.
43  * 
44  * @author JimP
45  * 
46  */
47 public class CrossRef
48 {
49   /*
50    * the dataset of the alignment for which we are searching for 
51    * cross-references; in some cases we may resolve xrefs by 
52    * searching in the dataset
53    */
54   private AlignmentI dataset;
55
56   /*
57    * the sequences for which we are seeking cross-references
58    */
59   private SequenceI[] fromSeqs;
60
61   /**
62    * matcher built from dataset
63    */
64   SequenceIdMatcher matcher;
65
66   /**
67    * sequences found by cross-ref searches to fromSeqs
68    */
69   List<SequenceI> rseqs;
70
71   /**
72    * Constructor
73    * 
74    * @param seqs
75    *          the sequences for which we are seeking cross-references
76    * @param ds
77    *          the containing alignment dataset (may be searched to resolve
78    *          cross-references)
79    */
80   public CrossRef(SequenceI[] seqs, AlignmentI ds)
81   {
82     fromSeqs = seqs;
83     dataset = ds.getDataset() == null ? ds : ds.getDataset();
84   }
85
86   /**
87    * Returns a list of distinct database sources for which sequences have either
88    * <ul>
89    * <li>a (dna-to-protein or protein-to-dna) cross-reference</li>
90    * <li>an indirect cross-reference - a (dna-to-protein or protein-to-dna)
91    * reference from another sequence in the dataset which has a cross-reference
92    * to a direct DBRefEntry on the given sequence</li>
93    * </ul>
94    * 
95    * @param dna
96    *          - when true, cross-references *from* dna returned. When false,
97    *          cross-references *from* protein are returned
98    * @return
99    */
100   public List<String> findXrefSourcesForSequences(boolean dna)
101   {
102     List<String> sources = new ArrayList<>();
103     for (SequenceI seq : fromSeqs)
104     {
105       if (seq != null)
106       {
107         findXrefSourcesForSequence(seq, dna, sources);
108       }
109     }
110     sources.remove(DBRefSource.EMBL); // hack to prevent EMBL xrefs resulting in
111                                       // redundant datasets
112     if (dna)
113     {
114       sources.remove(DBRefSource.ENSEMBL); // hack to prevent Ensembl and
115                                            // EnsemblGenomes xref option shown
116                                            // from cdna panel
117       sources.remove(DBRefSource.ENSEMBLGENOMES);
118     }
119     // redundant datasets
120     return sources;
121   }
122
123   /**
124    * Returns a list of distinct database sources for which a sequence has either
125    * <ul>
126    * <li>a (dna-to-protein or protein-to-dna) cross-reference</li>
127    * <li>an indirect cross-reference - a (dna-to-protein or protein-to-dna)
128    * reference from another sequence in the dataset which has a cross-reference
129    * to a direct DBRefEntry on the given sequence</li>
130    * </ul>
131    * 
132    * @param seq
133    *          the sequence whose dbrefs we are searching against
134    * @param fromDna
135    *          when true, context is DNA - so sources identifying protein
136    *          products will be returned.
137    * @param sources
138    *          a list of sources to add matches to
139    */
140   void findXrefSourcesForSequence(SequenceI seq, boolean fromDna,
141           List<String> sources)
142   {
143     /*
144      * first find seq's xrefs (dna-to-peptide or peptide-to-dna)
145      */
146     List<DBRefEntry> rfs = DBRefUtils.selectDbRefs(!fromDna, seq.getDBRefs());
147     addXrefsToSources(rfs, sources);
148     if (dataset != null)
149     {
150       /*
151        * find sequence's direct (dna-to-dna, peptide-to-peptide) xrefs
152        */
153       List<DBRefEntry> lrfs = DBRefUtils.selectDbRefs(fromDna, seq.getDBRefs());
154       List<SequenceI> foundSeqs = new ArrayList<>();
155
156       /*
157        * find sequences in the alignment which xref one of these DBRefs
158        * i.e. is xref-ed to a common sequence identifier
159        */
160       searchDatasetXrefs(fromDna, seq, lrfs, foundSeqs, null);
161
162       /*
163        * add those sequences' (dna-to-peptide or peptide-to-dna) dbref sources
164        */
165       for (SequenceI rs : foundSeqs)
166       {
167         List<DBRefEntry> xrs = DBRefUtils.selectDbRefs(!fromDna,
168                 rs.getDBRefs());
169         addXrefsToSources(xrs, sources);
170       }
171     }
172   }
173
174   /**
175    * Helper method that adds the source identifiers of some cross-references to
176    * a (non-redundant) list of database sources
177    * 
178    * @param xrefs
179    * @param sources
180    */
181   void addXrefsToSources(List<DBRefEntry> xrefs, List<String> sources)
182   {
183     if (xrefs != null)
184     {
185       for (DBRefEntry ref : xrefs)
186       {
187         /*
188          * avoid duplication e.g. ENSEMBL and Ensembl
189          */
190         String source = DBRefUtils.getCanonicalName(ref.getSource());
191         if (!sources.contains(source))
192         {
193           sources.add(source);
194         }
195       }
196     }
197   }
198
199   /**
200    * Attempts to find cross-references from the sequences provided in the
201    * constructor to the given source database. Cross-references may be found
202    * <ul>
203    * <li>in dbrefs on the sequence which hold a mapping to a sequence
204    * <ul>
205    * <li>provided with a fetched sequence (e.g. ENA translation), or</li>
206    * <li>populated previously after getting cross-references</li>
207    * </ul>
208    * <li>as other sequences in the alignment which share a dbref identifier with
209    * the sequence</li>
210    * <li>by fetching from the remote database</li>
211    * </ul>
212    * The cross-referenced sequences, and mappings to them, are added to the
213    * alignment dataset.
214    * 
215    * @param source
216    * @return cross-referenced sequences (as dataset sequences)
217    */
218   public Alignment findXrefSequences(String source, boolean fromDna)
219   {
220
221     rseqs = new ArrayList<>();
222     AlignedCodonFrame cf = new AlignedCodonFrame();
223     matcher = new SequenceIdMatcher(dataset.getSequences());
224
225     for (SequenceI seq : fromSeqs)
226     {
227       SequenceI dss = seq;
228       while (dss.getDatasetSequence() != null)
229       {
230         dss = dss.getDatasetSequence();
231       }
232       boolean found = false;
233       List<DBRefEntry> xrfs = DBRefUtils.selectDbRefs(!fromDna,
234               dss.getDBRefs());
235       // ENST & ENSP comes in to both Protein and nucleotide, so we need to
236       // filter them
237       // out later.
238       if ((xrfs == null || xrfs.size() == 0) && dataset != null)
239       {
240         /*
241          * found no suitable dbrefs on sequence - look for sequences in the
242          * alignment which share a dbref with this one
243          */
244         List<DBRefEntry> lrfs = DBRefUtils.selectDbRefs(fromDna,
245                 seq.getDBRefs());
246
247         /*
248          * find sequences (except this one!), of complementary type,
249          *  which have a dbref to an accession id for this sequence,
250          *  and add them to the results
251          */
252         found = searchDatasetXrefs(fromDna, dss, lrfs, rseqs, cf);
253       }
254       if (xrfs == null && !found)
255       {
256         /*
257          * no dbref to source on this sequence or matched
258          * complementary sequence in the dataset 
259          */
260         continue;
261       }
262       List<DBRefEntry> sourceRefs = DBRefUtils.searchRefsForSource(xrfs,
263               source);
264       Iterator<DBRefEntry> refIterator = sourceRefs.iterator();
265       // At this point, if we are retrieving Ensembl, we still don't filter out
266       // ENST when looking for protein crossrefs.
267       while (refIterator.hasNext())
268       {
269         DBRefEntry xref = refIterator.next();
270         found = false;
271         // we're only interested in coding cross-references, not
272         // locus->transcript
273         if (xref.hasMap() && xref.getMap().getMap().isTripletMap())
274         {
275           SequenceI mappedTo = xref.getMap().getTo();
276           if (mappedTo != null)
277           {
278             /*
279              * dbref contains the sequence it maps to; add it to the
280              * results unless we have done so already (could happen if 
281              * fetching xrefs for sequences which have xrefs in common)
282              * for example: UNIPROT {P0CE19, P0CE20} -> EMBL {J03321, X06707}
283              */
284             found = true;
285             /*
286              * problem: matcher.findIdMatch() is lenient - returns a sequence
287              * with a dbref to the search arg e.g. ENST for ENSP - wrong
288              * but findInDataset() matches ENSP when looking for Uniprot...
289              */
290             SequenceI matchInDataset = findInDataset(xref);
291             if (matchInDataset != null && xref.getMap().getTo() != null
292                     && matchInDataset != xref.getMap().getTo())
293             {
294               System.err.println(
295                       "Implementation problem (reopen JAL-2154): CrossRef.findInDataset seems to have recovered a different sequence than the one explicitly mapped for xref."
296                               + "Found:" + matchInDataset + "\nExpected:"
297                               + xref.getMap().getTo() + "\nFor xref:"
298                               + xref);
299             }
300             /*matcher.findIdMatch(mappedTo);*/
301             if (matchInDataset != null)
302             {
303               if (!rseqs.contains(matchInDataset))
304               {
305                 rseqs.add(matchInDataset);
306               }
307               // even if rseqs contained matchInDataset - check mappings between
308               // these seqs are added
309               // need to try harder to only add unique mappings
310               if (xref.getMap().getMap().isTripletMap()
311                       && dataset.getMapping(seq, matchInDataset) == null
312                       && cf.getMappingBetween(seq, matchInDataset) == null)
313               {
314                 // materialise a mapping for highlighting between these
315                 // sequences
316                 if (fromDna)
317                 {
318                   cf.addMap(dss, matchInDataset, xref.getMap().getMap(),
319                           xref.getMap().getMappedFromId());
320                 }
321                 else
322                 {
323                   cf.addMap(matchInDataset, dss,
324                           xref.getMap().getMap().getInverse(),
325                           xref.getMap().getMappedFromId());
326                 }
327               }
328
329               refIterator.remove();
330               continue;
331             }
332             // TODO: need to determine if this should be a deriveSequence
333             SequenceI rsq = new Sequence(mappedTo);
334             rseqs.add(rsq);
335             if (xref.getMap().getMap().isTripletMap())
336             {
337               // get sense of map correct for adding to product alignment.
338               if (fromDna)
339               {
340                 // map is from dna seq to a protein product
341                 cf.addMap(dss, rsq, xref.getMap().getMap(),
342                         xref.getMap().getMappedFromId());
343               }
344               else
345               {
346                 // map should be from protein seq to its coding dna
347                 cf.addMap(rsq, dss, xref.getMap().getMap().getInverse(),
348                         xref.getMap().getMappedFromId());
349               }
350             }
351           }
352         }
353
354         if (!found)
355         {
356           SequenceI matchedSeq = matcher.findIdMatch(
357                   xref.getSource() + "|" + xref.getAccessionId());
358           // if there was a match, check it's at least the right type of
359           // molecule!
360           if (matchedSeq != null && matchedSeq.isProtein() == fromDna)
361           {
362             if (constructMapping(seq, matchedSeq, xref, cf, fromDna))
363             {
364               found = true;
365             }
366           }
367         }
368
369         if (!found)
370         {
371           // do a bit more work - search for sequences with references matching
372           // xrefs on this sequence.
373           found = searchDataset(fromDna, dss, xref, rseqs, cf, false, DBRefUtils.SEARCH_MODE_FULL);
374         }
375         if (found)
376         {
377           refIterator.remove();
378         }
379       }
380
381       /*
382        * fetch from source database any dbrefs we haven't resolved up to here
383        */
384       if (!sourceRefs.isEmpty())
385       {
386         retrieveCrossRef(sourceRefs, seq, xrfs, fromDna, cf);
387       }
388     }
389
390     Alignment ral = null;
391     if (rseqs.size() > 0)
392     {
393       ral = new Alignment(rseqs.toArray(new SequenceI[rseqs.size()]));
394       if (!cf.isEmpty())
395       {
396         dataset.addCodonFrame(cf);
397       }
398     }
399     return ral;
400   }
401
402   private void retrieveCrossRef(List<DBRefEntry> sourceRefs, SequenceI seq,
403           List<DBRefEntry> xrfs, boolean fromDna, AlignedCodonFrame cf)
404   {
405     ASequenceFetcher sftch = SequenceFetcherFactory.getSequenceFetcher();
406     SequenceI[] retrieved = null;
407     SequenceI dss = seq.getDatasetSequence() == null ? seq
408             : seq.getDatasetSequence();
409     // first filter in case we are retrieving crossrefs that have already been
410     // retrieved. this happens for cases where a database record doesn't yield
411     // protein products for CDS
412     removeAlreadyRetrievedSeqs(sourceRefs, fromDna);
413     if (sourceRefs.size() == 0)
414     {
415       // no more work to do! We already had all requested sequence records in
416       // the dataset.
417       return;
418     }
419     try
420     {
421       retrieved = sftch.getSequences(sourceRefs, !fromDna);
422     } catch (Exception e)
423     {
424       System.err.println(
425               "Problem whilst retrieving cross references for Sequence : "
426                       + seq.getName());
427       e.printStackTrace();
428     }
429
430     if (retrieved != null)
431     {
432       boolean addedXref = false;
433       List<SequenceI> newDsSeqs = new ArrayList<>(),
434               doNotAdd = new ArrayList<>();
435
436       for (SequenceI retrievedSequence : retrieved)
437       {
438         // dataset gets contaminated ccwith non-ds sequences. why ??!
439         // try: Ensembl -> Nuc->Ensembl, Nuc->Uniprot-->Protein->EMBL->
440         SequenceI retrievedDss = retrievedSequence
441                 .getDatasetSequence() == null ? retrievedSequence
442                         : retrievedSequence.getDatasetSequence();
443         addedXref |= importCrossRefSeq(cf, newDsSeqs, doNotAdd, dss,
444                 retrievedDss);
445       }
446       // JBPNote: What assumptions are made for dbref structures on 
447       // retrieved sequences ?
448       // addedXref will be true means importCrossRefSeq found 
449       // sequences with dbrefs with mappings to sequences congruent with dss 
450
451       if (!addedXref)
452       {
453         // try again, after looking for matching IDs
454         // shouldn't need to do this unless the dbref mechanism has broken.
455         updateDbrefMappings(seq, xrfs, retrieved, cf, fromDna);
456         for (SequenceI retrievedSequence : retrieved)
457         {
458           // dataset gets contaminated ccwith non-ds sequences. why ??!
459           // try: Ensembl -> Nuc->Ensembl, Nuc->Uniprot-->Protein->EMBL->
460           SequenceI retrievedDss = retrievedSequence
461                   .getDatasetSequence() == null ? retrievedSequence
462                           : retrievedSequence.getDatasetSequence();
463           addedXref |= importCrossRefSeq(cf, newDsSeqs, doNotAdd, dss,
464                   retrievedDss);
465         }
466       }
467       for (SequenceI newToSeq : newDsSeqs)
468       {
469         if (!doNotAdd.contains(newToSeq)
470                 && dataset.findIndex(newToSeq) == -1)
471         {
472           dataset.addSequence(newToSeq);
473           matcher.add(newToSeq);
474         }
475       }
476     }
477   }
478
479   /**
480    * Search dataset for sequences with a primary reference contained in
481    * sourceRefs.
482    * 
483    * @param sourceRefs
484    *          - list of references to filter.
485    * @param fromDna
486    *          - type of sequence to search for matching primary reference.
487    */
488   private void removeAlreadyRetrievedSeqs(List<DBRefEntry> sourceRefs,
489           boolean fromDna)
490   {
491     List<DBRefEntry> dbrSourceSet = new ArrayList<>(sourceRefs);
492     List<SequenceI> dsSeqs = dataset.getSequences();
493     for (int ids = 0, nds = dsSeqs.size(); ids < nds; ids++)
494     {
495       SequenceI sq = dsSeqs.get(ids);
496       boolean dupeFound = false;
497       // !fromDna means we are looking only for nucleotide sequences, not
498       // protein
499       if (sq.isProtein() == fromDna)
500       {
501         List<DBRefEntry> sqdbrefs = sq.getPrimaryDBRefs();
502         for (int idb = 0, ndb = sqdbrefs.size(); idb < ndb; idb++)
503         {
504           DBRefEntry dbr = sqdbrefs.get(idb);   
505           List<DBRefEntry> searchrefs = DBRefUtils.searchRefs(dbrSourceSet, dbr, DBRefUtils.SEARCH_MODE_FULL);
506           for (int isr = 0, nsr = searchrefs.size(); isr < nsr; isr++)
507           {
508             sourceRefs.remove(searchrefs.get(isr));
509             dupeFound = true;
510           }
511         }
512       }
513       if (dupeFound)
514       {
515         // rebuild the search array from the filtered sourceRefs list
516         dbrSourceSet.clear();
517         dbrSourceSet.addAll(sourceRefs);
518       }
519     }
520   }
521
522   /**
523    * process sequence retrieved via a dbref on source sequence to resolve and
524    * transfer data JBPNote: as of 2022-02-03 - this assumes retrievedSequence
525    * has dbRefs with Mapping references to a sequence congruent with
526    * sourceSequence
527    * 
528    * @param cf
529    * @param sourceSequence
530    * @param retrievedSequence
531    * @return true if retrieveSequence was imported
532    */
533   private boolean importCrossRefSeq(AlignedCodonFrame cf,
534           List<SequenceI> newDsSeqs, List<SequenceI> doNotAdd,
535           SequenceI sourceSequence, SequenceI retrievedSequence)
536   {
537     /**
538      * set when retrievedSequence has been verified as a crossreference for
539      * sourceSequence
540      */
541     boolean imported = false;
542     List<DBRefEntry> dbr = retrievedSequence.getDBRefs();
543     if (dbr != null)
544     {
545       for (int ib = 0, nb = dbr.size(); ib < nb; ib++)
546       {
547
548         DBRefEntry dbref = dbr.get(ib);
549         // matched will return null if the dbref has no map
550         SequenceI matched = findInDataset(dbref);
551         if (matched == sourceSequence)
552         {
553           // verified retrieved and source sequence cross-reference each other
554           imported = true;
555         }
556         // find any entry where we should put in the sequence being
557         // cross-referenced into the map
558         Mapping map = dbref.getMap();
559         if (map != null)
560         {
561           SequenceI ms = map.getTo();
562           if (ms != null && map.getMap() != null)
563           {
564             if (ms == sourceSequence)
565             {
566               // already called to import once, and most likely this sequence
567               // already imported !
568               continue;
569             }
570             if (matched == null)
571             {
572               /*
573                * sequence is new to dataset, so save a reference so it can be added. 
574                */
575               newDsSeqs.add(ms);
576               continue;
577             }
578
579             /*
580              * there was a matching sequence in dataset, so now, check to see if we can update the map.getTo() sequence to the existing one.
581              */
582
583             try
584             {
585               // compare ms with dss and replace with dss in mapping
586               // if map is congruent
587               // TODO findInDataset requires exact sequence match but
588               // 'congruent' test is only for the mapped part
589               // maybe not a problem in practice since only ENA provide a
590               // mapping and it is to the full protein translation of CDS
591               // matcher.findIdMatch(map.getTo());
592               // TODO addendum: if matched is shorter than getTo, this will fail
593               // - when it should really succeed.
594               int sf = map.getMap().getToLowest();
595               int st = map.getMap().getToHighest();
596               SequenceI mappedrg = ms.getSubSequence(sf, st);
597               if (mappedrg.getLength() > 0 && ms.getSequenceAsString()
598                       .equals(matched.getSequenceAsString()))
599               {
600                 /*
601                  * sequences were a match, 
602                  */
603                 String msg = "Mapping updated from " + ms.getName()
604                         + " to retrieved crossreference "
605                         + matched.getName();
606                 System.out.println(msg);
607
608                 List<DBRefEntry> toRefs = map.getTo().getDBRefs();
609                 if (toRefs != null)
610                 {
611                   /*
612                    * transfer database refs
613                    */
614                   for (DBRefEntry ref : toRefs)
615                   {
616                     if (dbref.getSrcAccString()
617                             .equals(ref.getSrcAccString()))
618                     {
619                       continue; // avoid overwriting the ref on source sequence
620                     }
621                     matched.addDBRef(ref); // add or update mapping
622                   }
623                 }
624                 doNotAdd.add(map.getTo());
625                 map.setTo(matched);
626
627                 /*
628                  * give the reverse reference the inverse mapping 
629                  * (if it doesn't have one already)
630                  */
631                 setReverseMapping(matched, dbref, cf);
632
633                 /*
634                  * copy sequence features as well, avoiding
635                  * duplication (e.g. same variation from two 
636                  * transcripts)
637                  */
638                 List<SequenceFeature> sfs = ms.getFeatures()
639                         .getAllFeatures();
640                 for (SequenceFeature feat : sfs)
641                 {
642                   /*
643                    * make a flyweight feature object which ignores Parent
644                    * attribute in equality test; this avoids creating many
645                    * otherwise duplicate exon features on genomic sequence
646                    */
647                   SequenceFeature newFeature = new SequenceFeature(feat)
648                   {
649                     @Override
650                     public boolean equals(Object o)
651                     {
652                       return super.equals(o, true);
653                     }
654                   };
655                   matched.addSequenceFeature(newFeature);
656                 }
657               }
658               cf.addMap(retrievedSequence, map.getTo(), map.getMap());
659             } catch (Exception e)
660             {
661               System.err.println(
662                       "Exception when consolidating Mapped sequence set...");
663               e.printStackTrace(System.err);
664             }
665           }
666         }
667       }
668     }
669     if (imported)
670     {
671       retrievedSequence.updatePDBIds();
672       rseqs.add(retrievedSequence);
673       if (dataset.findIndex(retrievedSequence) == -1)
674       {
675         dataset.addSequence(retrievedSequence);
676         matcher.add(retrievedSequence);
677       }
678     }
679     return imported;
680   }
681
682   /**
683    * Sets the inverse sequence mapping in the corresponding dbref of the mapped
684    * to sequence (if any). This is used after fetching a cross-referenced
685    * sequence, if the fetched sequence has a mapping to the original sequence,
686    * to set the mapping in the original sequence's dbref.
687    * 
688    * @param mapFrom
689    *          the sequence mapped from
690    * @param dbref
691    * @param mappings
692    */
693   void setReverseMapping(SequenceI mapFrom, DBRefEntry dbref,
694           AlignedCodonFrame mappings)
695   {
696     SequenceI mapTo = dbref.getMap().getTo();
697     if (mapTo == null)
698     {
699       return;
700     }
701     List<DBRefEntry> dbrefs = mapTo.getDBRefs();
702     if (dbrefs == null)
703     {
704       return;
705     }
706     for (DBRefEntry toRef : dbrefs)
707     {
708       if (toRef.hasMap() && mapFrom == toRef.getMap().getTo())
709       {
710         /*
711          * found the reverse dbref; update its mapping if null
712          */
713         if (toRef.getMap().getMap() == null)
714         {
715           MapList inverse = dbref.getMap().getMap().getInverse();
716           toRef.getMap().setMap(inverse);
717           mappings.addMap(mapTo, mapFrom, inverse);
718         }
719       }
720     }
721   }
722
723   /**
724    * Returns null or the first sequence in the dataset which is identical to
725    * xref.mapTo, and has a) a primary dbref matching xref, or if none found, the
726    * first one with an ID source|xrefacc
727    * JBPNote: Could refactor this to AlignmentI/DatasetI
728    * @param xref
729    *          with map and mapped-to sequence
730    * @return
731    */
732   SequenceI findInDataset(DBRefEntry xref)
733   {
734     if (xref == null || !xref.hasMap() || xref.getMap().getTo() == null)
735     {
736       return null;
737     }
738     SequenceI mapsTo = xref.getMap().getTo();
739     String name = xref.getAccessionId();
740     String name2 = xref.getSource() + "|" + name;
741     SequenceI dss = mapsTo.getDatasetSequence() == null ? mapsTo
742             : mapsTo.getDatasetSequence();
743     // first check ds if ds is directly referenced
744     if (dataset.findIndex(dss) > -1)
745     {
746       return dss;
747     }
748     DBRefEntry template = new DBRefEntry(xref.getSource(), null,
749             xref.getAccessionId());
750     /**
751      * remember the first ID match - in case we don't find a match to template
752      */
753     SequenceI firstIdMatch = null;
754     for (SequenceI seq : dataset.getSequences())
755     {
756       // first check primary refs.
757       List<DBRefEntry> match = DBRefUtils.searchRefs(
758               seq.getPrimaryDBRefs(), template, DBRefUtils.SEARCH_MODE_FULL);
759       if (match != null && match.size() == 1 && sameSequence(seq, dss))
760       {
761         return seq;
762       }
763       /*
764        * clumsy alternative to using SequenceIdMatcher which currently
765        * returns sequences with a dbref to the matched accession id 
766        * which we don't want
767        */
768       if (firstIdMatch == null && (name.equals(seq.getName())
769               || seq.getName().startsWith(name2)))
770       {
771         if (sameSequence(seq, dss))
772         {
773           firstIdMatch = seq;
774         }
775       }
776     }
777     return firstIdMatch;
778   }
779
780   /**
781    * Answers true if seq1 and seq2 contain exactly the same characters (ignoring
782    * case), else false. This method compares the lengths, then each character in
783    * turn, in order to 'fail fast'. For case-sensitive comparison, it would be
784    * possible to use Arrays.equals(seq1.getSequence(), seq2.getSequence()).
785    * 
786    * @param seq1
787    * @param seq2
788    * @return
789    */
790   // TODO move to Sequence / SequenceI
791   static boolean sameSequence(SequenceI seq1, SequenceI seq2)
792   {
793     if (seq1 == seq2)
794     {
795       return true;
796     }
797     if (seq1 == null || seq2 == null)
798     {
799       return false;
800     }
801
802     if (seq1.getLength() != seq2.getLength())
803     {
804       return false;
805     }
806     int length = seq1.getLength();
807     for (int i = 0; i < length; i++)
808     {
809       int diff = seq1.getCharAt(i) - seq2.getCharAt(i);
810       /*
811        * same char or differ in case only ('a'-'A' == 32)
812        */
813       if (diff != 0 && diff != 32 && diff != -32)
814       {
815         return false;
816       }
817     }
818     return true;
819   }
820
821   /**
822    * Updates any empty mappings in the cross-references with one to a compatible
823    * retrieved sequence if found, and adds any new mappings to the
824    * AlignedCodonFrame
825    * JBPNote: TODO: this relies on sequence IDs like UNIPROT|ACCESSION - which do not always happen.
826    * @param mapFrom
827    * @param xrefs
828    * @param retrieved
829    * @param acf
830    */
831   void updateDbrefMappings(SequenceI mapFrom, List<DBRefEntry> xrefs,
832           SequenceI[] retrieved, AlignedCodonFrame acf, boolean fromDna)
833   {
834     SequenceIdMatcher idMatcher = new SequenceIdMatcher(retrieved);
835     for (DBRefEntry xref : xrefs)
836     {
837       if (!xref.hasMap())
838       {
839         String targetSeqName = xref.getSource() + "|"
840                 + xref.getAccessionId();
841         SequenceI[] matches = idMatcher.findAllIdMatches(targetSeqName);
842         if (matches == null)
843         {
844           return;
845         }
846         for (SequenceI seq : matches)
847         {
848           constructMapping(mapFrom, seq, xref, acf, fromDna);
849         }
850       }
851     }
852   }
853
854   /**
855    * Tries to make a mapping between sequences. If successful, adds the mapping
856    * to the dbref and the mappings collection and answers true, otherwise
857    * answers false. The following methods of making are mapping are tried in
858    * turn:
859    * <ul>
860    * <li>if 'mapTo' holds a mapping to 'mapFrom', take the inverse; this is, for
861    * example, the case after fetching EMBL cross-references for a Uniprot
862    * sequence</li>
863    * <li>else check if the dna translates exactly to the protein (give or take
864    * start and stop codons></li>
865    * <li>else try to map based on CDS features on the dna sequence</li>
866    * </ul>
867    * 
868    * @param mapFrom
869    * @param mapTo
870    * @param xref
871    * @param mappings
872    * @return
873    */
874   boolean constructMapping(SequenceI mapFrom, SequenceI mapTo,
875           DBRefEntry xref, AlignedCodonFrame mappings, boolean fromDna)
876   {
877     MapList mapping = null;
878     SequenceI dsmapFrom = mapFrom.getDatasetSequence() == null ? mapFrom
879             : mapFrom.getDatasetSequence();
880     SequenceI dsmapTo = mapTo.getDatasetSequence() == null ? mapTo
881             : mapTo.getDatasetSequence();
882     /*
883      * look for a reverse mapping, if found make its inverse. 
884      * Note - we do this on dataset sequences only.
885      */
886     if (dsmapTo.getDBRefs() != null)
887     {
888       for (DBRefEntry dbref : dsmapTo.getDBRefs())
889       {
890         String name = dbref.getSource() + "|" + dbref.getAccessionId();
891         if (dbref.hasMap() && dsmapFrom.getName().startsWith(name))
892         {
893           /*
894            * looks like we've found a map from 'mapTo' to 'mapFrom'
895            * - invert it to make the mapping the other way 
896            */
897           MapList reverse = dbref.getMap().getMap().getInverse();
898           xref.setMap(new Mapping(dsmapTo, reverse));
899           mappings.addMap(mapFrom, dsmapTo, reverse);
900           return true;
901         }
902       }
903     }
904
905     if (fromDna)
906     {
907       mapping = AlignmentUtils.mapCdnaToProtein(mapTo, mapFrom);
908     }
909     else
910     {
911       mapping = AlignmentUtils.mapCdnaToProtein(mapFrom, mapTo);
912       if (mapping != null)
913       {
914         mapping = mapping.getInverse();
915       }
916     }
917     if (mapping == null)
918     {
919       return false;
920     }
921     xref.setMap(new Mapping(mapTo, mapping));
922
923     /*
924      * and add a reverse DbRef with the inverse mapping
925      */
926     if (mapFrom.getDatasetSequence() != null && false)
927     // && mapFrom.getDatasetSequence().getSourceDBRef() != null)
928     {
929       // possible need to search primary references... except, why doesn't xref
930       // == getSourceDBRef ??
931       // DBRefEntry dbref = new DBRefEntry(mapFrom.getDatasetSequence()
932       // .getSourceDBRef());
933       // dbref.setMap(new Mapping(mapFrom.getDatasetSequence(), mapping
934       // .getInverse()));
935       // mapTo.addDBRef(dbref);
936     }
937
938     if (fromDna)
939     {
940       // AlignmentUtils.computeProteinFeatures(mapFrom, mapTo, mapping);
941       mappings.addMap(mapFrom, mapTo, mapping);
942     }
943     else
944     {
945       mappings.addMap(mapTo, mapFrom, mapping.getInverse());
946     }
947
948     return true;
949   }
950
951   /**
952    * find references to lrfs in the cross-reference set of each sequence in
953    * dataset (that is not equal to sequenceI) Identifies matching DBRefEntry
954    * based on source and accession string only - Map and Version are nulled.
955    * 
956    * @param fromDna
957    *          - true if context was searching from Dna sequences, false if
958    *          context was searching from Protein sequences
959    * @param sequenceI
960    * @param lrfs
961    * @param foundSeqs
962    * @return true if matches were found.
963    */
964   private boolean searchDatasetXrefs(boolean fromDna, SequenceI sequenceI,
965           List<DBRefEntry> lrfs, List<SequenceI> foundSeqs,
966           AlignedCodonFrame cf)
967   {
968     boolean found = false;
969     if (lrfs == null)
970     {
971       return false;
972     }
973     for (int i = 0, n = lrfs.size(); i < n; i++)
974     {
975 //      DBRefEntry xref = new DBRefEntry(lrfs.get(i));
976 //      // add in wildcards
977 //      xref.setVersion(null);
978 //      xref.setMap(null);
979       found |= searchDataset(fromDna, sequenceI, lrfs.get(i), foundSeqs, cf,
980               false, DBRefUtils.SEARCH_MODE_NO_MAP_NO_VERSION);
981     }
982     return found;
983   }
984
985   /**
986    * Searches dataset for DBRefEntrys matching the given one (xrf) and adds the
987    * associated sequence to rseqs
988    * 
989    * @param fromDna
990    *          true if context was searching for refs *from* dna sequence, false
991    *          if context was searching for refs *from* protein sequence
992    * @param fromSeq
993    *          a sequence to ignore (start point of search)
994    * @param xrf
995    *          a cross-reference to try to match
996    * @param foundSeqs
997    *          result list to add to
998    * @param mappings
999    *          a set of sequence mappings to add to
1000    * @param direct
1001    *          - indicates the type of relationship between returned sequences,
1002    *          xrf, and sequenceI that is required.
1003    *          <ul>
1004    *          <li>direct implies xrf is a primary reference for sequenceI AND
1005    *          the sequences to be located (eg a uniprot ID for a protein
1006    *          sequence, and a uniprot ref on a transcript sequence).</li>
1007    *          <li>indirect means xrf is a cross reference with respect to
1008    *          sequenceI or all the returned sequences (eg a genomic reference
1009    *          associated with a locus and one or more transcripts)</li>
1010    *          </ul>
1011    * @param mode   SEARCH_MODE_FULL for all; SEARCH_MODE_NO_MAP_NO_VERSION optional
1012    * @return true if relationship found and sequence added.
1013    */
1014   boolean searchDataset(boolean fromDna, SequenceI fromSeq, DBRefEntry xrf,
1015           List<SequenceI> foundSeqs, AlignedCodonFrame mappings,
1016           boolean direct, int mode)
1017   {
1018     boolean found = false;
1019     if (dataset == null)
1020     {
1021       return false;
1022     }
1023     if (dataset.getSequences() == null)
1024     {
1025       System.err.println("Empty dataset sequence set - NO VECTOR");
1026       return false;
1027     }
1028     List<SequenceI> ds = dataset.getSequences();
1029     synchronized (ds)
1030     {
1031       for (SequenceI nxt : ds)
1032       {
1033         if (nxt != null)
1034         {
1035           if (nxt.getDatasetSequence() != null)
1036           {
1037             System.err.println(
1038                     "Implementation warning: CrossRef initialised with a dataset alignment with non-dataset sequences in it! ("
1039                             + nxt.getDisplayId(true) + " has ds reference "
1040                             + nxt.getDatasetSequence().getDisplayId(true)
1041                             + ")");
1042           }
1043           if (nxt == fromSeq || nxt == fromSeq.getDatasetSequence())
1044           {
1045             continue;
1046           }
1047           /*
1048            * only look at same molecule type if 'direct', or
1049            * complementary type if !direct
1050            */
1051           {
1052             boolean isDna = !nxt.isProtein();
1053             if (direct ? (isDna != fromDna) : (isDna == fromDna))
1054             {
1055               // skip this sequence because it is wrong molecule type
1056               continue;
1057             }
1058           }
1059
1060           // look for direct or indirect references in common
1061           List<DBRefEntry> poss = nxt.getDBRefs();
1062           List<DBRefEntry> cands = null;
1063
1064           // todo: indirect specifies we select either direct references to nxt
1065           // that match xrf which is indirect to sequenceI, or indirect
1066           // references to nxt that match xrf which is direct to sequenceI
1067           cands = DBRefUtils.searchRefs(poss, xrf, mode);
1068           // else
1069           // {
1070           // poss = DBRefUtils.selectDbRefs(nxt.isProtein()!fromDna, poss);
1071           // cands = DBRefUtils.searchRefs(poss, xrf);
1072           // }
1073           if (!cands.isEmpty())
1074           {
1075             if (foundSeqs.contains(nxt))
1076             {
1077               continue;
1078             }
1079             found = true;
1080             foundSeqs.add(nxt);
1081             if (mappings != null && !direct)
1082             {
1083               /*
1084                * if the matched sequence has mapped dbrefs to
1085                * protein product / cdna, add equivalent mappings to
1086                * our source sequence
1087                */
1088               for (DBRefEntry candidate : cands)
1089               {
1090                 Mapping mapping = candidate.getMap();
1091                 if (mapping != null)
1092                 {
1093                   MapList map = mapping.getMap();
1094                   if (mapping.getTo() != null
1095                           && map.getFromRatio() != map.getToRatio())
1096                   {
1097                     /*
1098                      * add a mapping, as from dna to peptide sequence
1099                      */
1100                     if (map.getFromRatio() == 3)
1101                     {
1102                       mappings.addMap(nxt, fromSeq, map);
1103                     }
1104                     else
1105                     {
1106                       mappings.addMap(nxt, fromSeq, map.getInverse());
1107                     }
1108                   }
1109                 }
1110               }
1111             }
1112           }
1113         }
1114       }
1115     }
1116     return found;
1117   }
1118 }