src/jalview/analysis/CrossRef.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.analysis;
  22
  23 import jalview.datamodel.AlignedCodonFrame;
  24 import jalview.datamodel.Alignment;
  25 import jalview.datamodel.AlignmentI;
  26 import jalview.datamodel.DBRefEntry;
  27 import jalview.datamodel.DBRefSource;
  28 import jalview.datamodel.Mapping;
  29 import jalview.datamodel.Sequence;
  30 import jalview.datamodel.SequenceFeature;
  31 import jalview.datamodel.SequenceI;
  32 import jalview.util.DBRefUtils;
  33 import jalview.util.MapList;
  34 import jalview.ws.SequenceFetcher;
  35
  36 import java.util.ArrayList;
  37 import java.util.Iterator;
  38 import java.util.List;
  39
  40 /**
  41  * Functions for cross-referencing sequence databases.
  42  *
  43  * @author JimP
  44  *
  45  */
  46 public class CrossRef
  47 {
  48   /*
  49    * the dataset of the alignment for which we are searching for
  50    * cross-references; in some cases we may resolve xrefs by
  51    * searching in the dataset
  52    */
  53   private AlignmentI dataset;
  54
  55   /*
  56    * the sequences for which we are seeking cross-references
  57    */
  58   private SequenceI[] fromSeqs;
  59
  60   /**
  61    * matcher built from dataset
  62    */
  63   SequenceIdMatcher matcher;
  64
  65   /**
  66    * sequences found by cross-ref searches to fromSeqs
  67    */
  68   List<SequenceI> rseqs;
  69
  70   /**
  71    * Constructor
  72    *
  73    * @param seqs
  74    *          the sequences for which we are seeking cross-references
  75    * @param ds
  76    *          the containing alignment dataset (may be searched to resolve
  77    *          cross-references)
  78    */
  79   public CrossRef(SequenceI[] seqs, AlignmentI ds)
  80   {
  81     fromSeqs = seqs;
  82     dataset = ds.getDataset() == null ? ds : ds.getDataset();
  83   }
  84
  85   /**
  86    * Returns a list of distinct database sources for which sequences have either
  87    * <ul>
  88    * <li>a (dna-to-protein or protein-to-dna) cross-reference</li>
  89    * <li>an indirect cross-reference - a (dna-to-protein or protein-to-dna)
  90    * reference from another sequence in the dataset which has a cross-reference
  91    * to a direct DBRefEntry on the given sequence</li>
  92    * </ul>
  93    *
  94    * @param dna
  95    *          - when true, cross-references *from* dna returned. When false,
  96    *          cross-references *from* protein are returned
  97    * @return
  98    */
  99   public List<String> findXrefSourcesForSequences(boolean dna)
 100   {
 101     List<String> sources = new ArrayList<>();
 102     for (SequenceI seq : fromSeqs)
 103     {
 104       if (seq != null)
 105       {
 106         findXrefSourcesForSequence(seq, dna, sources);
 107       }
 108     }
 109     sources.remove(DBRefSource.EMBL); // hack to prevent EMBL xrefs resulting in
 110                                       // redundant datasets
 111     if (dna)
 112     {
 113       sources.remove(DBRefSource.ENSEMBL); // hack to prevent Ensembl and
 114                                            // EnsemblGenomes xref option shown
 115                                            // from cdna panel
 116       sources.remove(DBRefSource.ENSEMBLGENOMES);
 117     }
 118     // redundant datasets
 119     return sources;
 120   }
 121
 122   /**
 123    * Returns a list of distinct database sources for which a sequence has either
 124    * <ul>
 125    * <li>a (dna-to-protein or protein-to-dna) cross-reference</li>
 126    * <li>an indirect cross-reference - a (dna-to-protein or protein-to-dna)
 127    * reference from another sequence in the dataset which has a cross-reference
 128    * to a direct DBRefEntry on the given sequence</li>
 129    * </ul>
 130    *
 131    * @param seq
 132    *          the sequence whose dbrefs we are searching against
 133    * @param fromDna
 134    *          when true, context is DNA - so sources identifying protein
 135    *          products will be returned.
 136    * @param sources
 137    *          a list of sources to add matches to
 138    */
 139   void findXrefSourcesForSequence(SequenceI seq, boolean fromDna,
 140           List<String> sources)
 141   {
 142     /*
 143      * first find seq's xrefs (dna-to-peptide or peptide-to-dna)
 144      */
 145     List<DBRefEntry> rfs = DBRefUtils.selectDbRefs(!fromDna, seq.getDBRefs());
 146     addXrefsToSources(rfs, sources);
 147     if (dataset != null)
 148     {
 149       /*
 150        * find sequence's direct (dna-to-dna, peptide-to-peptide) xrefs
 151        */
 152       List<DBRefEntry> lrfs = DBRefUtils.selectDbRefs(fromDna, seq.getDBRefs());
 153       List<SequenceI> foundSeqs = new ArrayList<>();
 154
 155       /*
 156        * find sequences in the alignment which xref one of these DBRefs
 157        * i.e. is xref-ed to a common sequence identifier
 158        */
 159       searchDatasetXrefs(fromDna, seq, lrfs, foundSeqs, null);
 160
 161       /*
 162        * add those sequences' (dna-to-peptide or peptide-to-dna) dbref sources
 163        */
 164       for (SequenceI rs : foundSeqs)
 165       {
 166         List<DBRefEntry> xrs = DBRefUtils.selectDbRefs(!fromDna,
 167                 rs.getDBRefs());
 168         addXrefsToSources(xrs, sources);
 169       }
 170     }
 171   }
 172
 173   /**
 174    * Helper method that adds the source identifiers of some cross-references to
 175    * a (non-redundant) list of database sources
 176    *
 177    * @param xrefs
 178    * @param sources
 179    */
 180   void addXrefsToSources(List<DBRefEntry> xrefs, List<String> sources)
 181   {
 182     if (xrefs != null)
 183     {
 184       for (DBRefEntry ref : xrefs)
 185       {
 186         /*
 187          * avoid duplication e.g. ENSEMBL and Ensembl
 188          */
 189         String source = DBRefUtils.getCanonicalName(ref.getSource());
 190         if (!sources.contains(source))
 191         {
 192           sources.add(source);
 193         }
 194       }
 195     }
 196   }
 197
 198   /**
 199    * Attempts to find cross-references from the sequences provided in the
 200    * constructor to the given source database. Cross-references may be found
 201    * <ul>
 202    * <li>in dbrefs on the sequence which hold a mapping to a sequence
 203    * <ul>
 204    * <li>provided with a fetched sequence (e.g. ENA translation), or</li>
 205    * <li>populated previously after getting cross-references</li>
 206    * </ul>
 207    * <li>as other sequences in the alignment which share a dbref identifier with
 208    * the sequence</li>
 209    * <li>by fetching from the remote database</li>
 210    * </ul>
 211    * The cross-referenced sequences, and mappings to them, are added to the
 212    * alignment dataset.
 213    *
 214    * @param source
 215    * @return cross-referenced sequences (as dataset sequences)
 216    */
 217   public Alignment findXrefSequences(String source, boolean fromDna)
 218   {
 219
 220     rseqs = new ArrayList<>();
 221     AlignedCodonFrame cf = new AlignedCodonFrame();
 222     matcher = new SequenceIdMatcher(dataset.getSequences());
 223
 224     for (SequenceI seq : fromSeqs)
 225     {
 226       SequenceI dss = seq;
 227       while (dss.getDatasetSequence() != null)
 228       {
 229         dss = dss.getDatasetSequence();
 230       }
 231       boolean found = false;
 232       List<DBRefEntry> xrfs = DBRefUtils.selectDbRefs(!fromDna,
 233               dss.getDBRefs());
 234       // ENST & ENSP comes in to both Protein and nucleotide, so we need to
 235       // filter them
 236       // out later.
 237       if ((xrfs == null || xrfs.size() == 0) && dataset != null)
 238       {
 239         /*
 240          * found no suitable dbrefs on sequence - look for sequences in the
 241          * alignment which share a dbref with this one
 242          */
 243         List<DBRefEntry> lrfs = DBRefUtils.selectDbRefs(fromDna,
 244                 seq.getDBRefs());
 245
 246         /*
 247          * find sequences (except this one!), of complementary type,
 248          *  which have a dbref to an accession id for this sequence,
 249          *  and add them to the results
 250          */
 251         found = searchDatasetXrefs(fromDna, dss, lrfs, rseqs, cf);
 252       }
 253       if (xrfs == null && !found)
 254       {
 255         /*
 256          * no dbref to source on this sequence or matched
 257          * complementary sequence in the dataset
 258          */
 259         continue;
 260       }
 261       List<DBRefEntry> sourceRefs = DBRefUtils.searchRefsForSource(xrfs,
 262               source);
 263       Iterator<DBRefEntry> refIterator = sourceRefs.iterator();
 264       // At this point, if we are retrieving Ensembl, we still don't filter out
 265       // ENST when looking for protein crossrefs.
 266       while (refIterator.hasNext())
 267       {
 268         DBRefEntry xref = refIterator.next();
 269         found = false;
 270         // we're only interested in coding cross-references, not
 271         // locus->transcript
 272         if (xref.hasMap() && xref.getMap().getMap().isTripletMap())
 273         {
 274           SequenceI mappedTo = xref.getMap().getTo();
 275           if (mappedTo != null)
 276           {
 277             /*
 278              * dbref contains the sequence it maps to; add it to the
 279              * results unless we have done so already (could happen if
 280              * fetching xrefs for sequences which have xrefs in common)
 281              * for example: UNIPROT {P0CE19, P0CE20} -> EMBL {J03321, X06707}
 282              */
 283             found = true;
 284             /*
 285              * problem: matcher.findIdMatch() is lenient - returns a sequence
 286              * with a dbref to the search arg e.g. ENST for ENSP - wrong
 287              * but findInDataset() matches ENSP when looking for Uniprot...
 288              */
 289             SequenceI matchInDataset = findInDataset(xref);
 290             if (matchInDataset != null && xref.getMap().getTo() != null
 291                     && matchInDataset != xref.getMap().getTo())
 292             {
 293               System.err.println(
 294                       "Implementation problem (reopen JAL-2154): CrossRef.findInDataset seems to have recovered a different sequence than the one explicitly mapped for xref."
 295                               + "Found:" + matchInDataset + "\nExpected:"
 296                               + xref.getMap().getTo() + "\nFor xref:"
 297                               + xref);
 298             }
 299             /*matcher.findIdMatch(mappedTo);*/
 300             if (matchInDataset != null)
 301             {
 302               if (!rseqs.contains(matchInDataset))
 303               {
 304                 rseqs.add(matchInDataset);
 305               }
 306               // even if rseqs contained matchInDataset - check mappings between
 307               // these seqs are added
 308               // need to try harder to only add unique mappings
 309               if (xref.getMap().getMap().isTripletMap()
 310                       && dataset.getMapping(seq, matchInDataset) == null
 311                       && cf.getMappingBetween(seq, matchInDataset) == null)
 312               {
 313                 // materialise a mapping for highlighting between these
 314                 // sequences
 315                 if (fromDna)
 316                 {
 317                   cf.addMap(dss, matchInDataset, xref.getMap().getMap(),
 318                           xref.getMap().getMappedFromId());
 319                 }
 320                 else
 321                 {
 322                   cf.addMap(matchInDataset, dss,
 323                           xref.getMap().getMap().getInverse(),
 324                           xref.getMap().getMappedFromId());
 325                 }
 326               }
 327
 328               refIterator.remove();
 329               continue;
 330             }
 331             // TODO: need to determine if this should be a deriveSequence
 332             SequenceI rsq = new Sequence(mappedTo);
 333             rseqs.add(rsq);
 334             if (xref.getMap().getMap().isTripletMap())
 335             {
 336               // get sense of map correct for adding to product alignment.
 337               if (fromDna)
 338               {
 339                 // map is from dna seq to a protein product
 340                 cf.addMap(dss, rsq, xref.getMap().getMap(),
 341                         xref.getMap().getMappedFromId());
 342               }
 343               else
 344               {
 345                 // map should be from protein seq to its coding dna
 346                 cf.addMap(rsq, dss, xref.getMap().getMap().getInverse(),
 347                         xref.getMap().getMappedFromId());
 348               }
 349             }
 350           }
 351         }
 352
 353         if (!found)
 354         {
 355           SequenceI matchedSeq = matcher.findIdMatch(
 356                   xref.getSource() + "|" + xref.getAccessionId());
 357           // if there was a match, check it's at least the right type of
 358           // molecule!
 359           if (matchedSeq != null && matchedSeq.isProtein() == fromDna)
 360           {
 361             if (constructMapping(seq, matchedSeq, xref, cf, fromDna))
 362             {
 363               found = true;
 364             }
 365           }
 366         }
 367
 368         if (!found)
 369         {
 370           // do a bit more work - search for sequences with references matching
 371           // xrefs on this sequence.
 372           found = searchDataset(fromDna, dss, xref, rseqs, cf, false, DBRefUtils.SEARCH_MODE_FULL);
 373         }
 374         if (found)
 375         {
 376           refIterator.remove();
 377         }
 378       }
 379
 380       /*
 381        * fetch from source database any dbrefs we haven't resolved up to here
 382        */
 383       if (!sourceRefs.isEmpty())
 384       {
 385         retrieveCrossRef(sourceRefs, seq, xrfs, fromDna, cf);
 386       }
 387     }
 388
 389     Alignment ral = null;
 390     if (rseqs.size() > 0)
 391     {
 392       ral = new Alignment(rseqs.toArray(new SequenceI[rseqs.size()]));
 393       if (!cf.isEmpty())
 394       {
 395         dataset.addCodonFrame(cf);
 396       }
 397     }
 398     return ral;
 399   }
 400
 401   private void retrieveCrossRef(List<DBRefEntry> sourceRefs, SequenceI seq,
 402           List<DBRefEntry> xrfs, boolean fromDna, AlignedCodonFrame cf)
 403   {
 404     SequenceI[] retrieved = null;
 405     SequenceI dss = seq.getDatasetSequence() == null ? seq
 406             : seq.getDatasetSequence();
 407     // first filter in case we are retrieving crossrefs that have already been
 408     // retrieved. this happens for cases where a database record doesn't yield
 409     // protein products for CDS
 410     removeAlreadyRetrievedSeqs(sourceRefs, fromDna);
 411     if (sourceRefs.size() == 0)
 412     {
 413       // no more work to do! We already had all requested sequence records in
 414       // the dataset.
 415       return;
 416     }
 417     try
 418     {
 419       retrieved = SequenceFetcher.getInstance()
 420               .getSequences(sourceRefs, !fromDna);
 421     } catch (Exception e)
 422     {
 423       System.err.println(
 424               "Problem whilst retrieving cross references for Sequence : "
 425                       + seq.getName());
 426       e.printStackTrace();
 427     }
 428
 429     if (retrieved != null)
 430     {
 431       boolean addedXref = false;
 432       List<SequenceI> newDsSeqs = new ArrayList<>(),
 433               doNotAdd = new ArrayList<>();
 434
 435       for (SequenceI retrievedSequence : retrieved)
 436       {
 437         // dataset gets contaminated ccwith non-ds sequences. why ??!
 438         // try: Ensembl -> Nuc->Ensembl, Nuc->Uniprot-->Protein->EMBL->
 439         SequenceI retrievedDss = retrievedSequence
 440                 .getDatasetSequence() == null ? retrievedSequence
 441                         : retrievedSequence.getDatasetSequence();
 442         addedXref |= importCrossRefSeq(cf, newDsSeqs, doNotAdd, dss,
 443                 retrievedDss);
 444       }
 445       if (!addedXref)
 446       {
 447         // try again, after looking for matching IDs
 448         // shouldn't need to do this unless the dbref mechanism has broken.
 449         updateDbrefMappings(seq, xrfs, retrieved, cf, fromDna);
 450         for (SequenceI retrievedSequence : retrieved)
 451         {
 452           // dataset gets contaminated ccwith non-ds sequences. why ??!
 453           // try: Ensembl -> Nuc->Ensembl, Nuc->Uniprot-->Protein->EMBL->
 454           SequenceI retrievedDss = retrievedSequence
 455                   .getDatasetSequence() == null ? retrievedSequence
 456                           : retrievedSequence.getDatasetSequence();
 457           addedXref |= importCrossRefSeq(cf, newDsSeqs, doNotAdd, dss,
 458                   retrievedDss);
 459         }
 460       }
 461       for (SequenceI newToSeq : newDsSeqs)
 462       {
 463         if (!doNotAdd.contains(newToSeq)
 464                 && dataset.findIndex(newToSeq) == -1)
 465         {
 466           dataset.addSequence(newToSeq);
 467           matcher.add(newToSeq);
 468         }
 469       }
 470     }
 471   }
 472
 473   /**
 474    * Search dataset for sequences with a primary reference contained in
 475    * sourceRefs.
 476    *
 477    * @param sourceRefs
 478    *          - list of references to filter.
 479    * @param fromDna
 480    *          - type of sequence to search for matching primary reference.
 481    */
 482   private void removeAlreadyRetrievedSeqs(List<DBRefEntry> sourceRefs,
 483           boolean fromDna)
 484   {
 485     List<DBRefEntry> dbrSourceSet = new ArrayList<>(sourceRefs);
 486     List<SequenceI> dsSeqs = dataset.getSequences();
 487     for (int ids = 0, nds = dsSeqs.size(); ids < nds; ids++)
 488     {
 489       SequenceI sq = dsSeqs.get(ids);
 490       boolean dupeFound = false;
 491       // !fromDna means we are looking only for nucleotide sequences, not
 492       // protein
 493       if (sq.isProtein() == fromDna)
 494       {
 495         List<DBRefEntry> sqdbrefs = sq.getPrimaryDBRefs();
 496         for (int idb = 0, ndb = sqdbrefs.size(); idb < ndb; idb++)
 497         {
 498           DBRefEntry dbr = sqdbrefs.get(idb);
 499           List<DBRefEntry> searchrefs = DBRefUtils.searchRefs(dbrSourceSet, dbr, DBRefUtils.SEARCH_MODE_FULL);
 500           for (int isr = 0, nsr = searchrefs.size(); isr < nsr; isr++)
 501           {
 502             sourceRefs.remove(searchrefs.get(isr));
 503             dupeFound = true;
 504           }
 505         }
 506       }
 507       if (dupeFound)
 508       {
 509         // rebuild the search array from the filtered sourceRefs list
 510         dbrSourceSet.clear();
 511         dbrSourceSet.addAll(sourceRefs);
 512       }
 513     }
 514   }
 515
 516   /**
 517    * process sequence retrieved via a dbref on source sequence to resolve and
 518    * transfer data
 519    *
 520    * @param cf
 521    * @param sourceSequence
 522    * @param retrievedSequence
 523    * @return true if retrieveSequence was imported
 524    */
 525   private boolean importCrossRefSeq(AlignedCodonFrame cf,
 526           List<SequenceI> newDsSeqs, List<SequenceI> doNotAdd,
 527           SequenceI sourceSequence, SequenceI retrievedSequence)
 528   {
 529     /**
 530      * set when retrievedSequence has been verified as a crossreference for
 531      * sourceSequence
 532      */
 533     boolean imported = false;
 534     List<DBRefEntry> dbr = retrievedSequence.getDBRefs();
 535     if (dbr != null)
 536     {
 537         for (int ib = 0, nb = dbr.size(); ib < nb; ib++)
 538       {
 539
 540         DBRefEntry dbref = dbr.get(ib);
 541         SequenceI matched = findInDataset(dbref);
 542         if (matched == sourceSequence)
 543         {
 544           // verified retrieved and source sequence cross-reference each other
 545           imported = true;
 546         }
 547         // find any entry where we should put in the sequence being
 548         // cross-referenced into the map
 549         Mapping map = dbref.getMap();
 550         if (map != null)
 551         {
 552                 SequenceI ms = map.getTo();
 553           if (ms != null && map.getMap() != null)
 554           {
 555             if (ms == sourceSequence)
 556             {
 557               // already called to import once, and most likely this sequence
 558               // already imported !
 559               continue;
 560             }
 561             if (matched == null)
 562             {
 563               /*
 564                * sequence is new to dataset, so save a reference so it can be added.
 565                */
 566               newDsSeqs.add(ms);
 567               continue;
 568             }
 569
 570             /*
 571              * there was a matching sequence in dataset, so now, check to see if we can update the map.getTo() sequence to the existing one.
 572              */
 573
 574             try
 575             {
 576               // compare ms with dss and replace with dss in mapping
 577               // if map is congruent
 578               // TODO findInDataset requires exact sequence match but
 579               // 'congruent' test is only for the mapped part
 580               // maybe not a problem in practice since only ENA provide a
 581               // mapping and it is to the full protein translation of CDS
 582               // matcher.findIdMatch(map.getTo());
 583               // TODO addendum: if matched is shorter than getTo, this will fail
 584               // - when it should really succeed.
 585               int sf = map.getMap().getToLowest();
 586               int st = map.getMap().getToHighest();
 587               SequenceI mappedrg = ms.getSubSequence(sf, st);
 588               if (mappedrg.getLength() > 0 && ms.getSequenceAsString()
 589                       .equals(matched.getSequenceAsString()))
 590               {
 591                 /*
 592                  * sequences were a match,
 593                  */
 594                 String msg = "Mapping updated from " + ms.getName()
 595                         + " to retrieved crossreference "
 596                         + matched.getName();
 597                 System.out.println(msg);
 598
 599                 List<DBRefEntry> toRefs = map.getTo().getDBRefs();
 600                 if (toRefs != null)
 601                 {
 602                   /*
 603                    * transfer database refs
 604                    */
 605                   for (DBRefEntry ref : toRefs)
 606                   {
 607                     if (dbref.getSrcAccString()
 608                             .equals(ref.getSrcAccString()))
 609                     {
 610                       continue; // avoid overwriting the ref on source sequence
 611                     }
 612                     matched.addDBRef(ref); // add or update mapping
 613                   }
 614                 }
 615                 doNotAdd.add(map.getTo());
 616                 map.setTo(matched);
 617
 618                 /*
 619                  * give the reverse reference the inverse mapping
 620                  * (if it doesn't have one already)
 621                  */
 622                 setReverseMapping(matched, dbref, cf);
 623
 624                 /*
 625                  * copy sequence features as well, avoiding
 626                  * duplication (e.g. same variation from two
 627                  * transcripts)
 628                  */
 629                 List<SequenceFeature> sfs = ms.getFeatures()
 630                         .getAllFeatures();
 631                 for (SequenceFeature feat : sfs)
 632                 {
 633                   /*
 634                    * make a flyweight feature object which ignores Parent
 635                    * attribute in equality test; this avoids creating many
 636                    * otherwise duplicate exon features on genomic sequence
 637                    */
 638                   SequenceFeature newFeature = new SequenceFeature(feat)
 639                   {
 640                     @Override
 641                     public boolean equals(Object o)
 642                     {
 643                       return super.equals(o, true);
 644                     }
 645                   };
 646                   matched.addSequenceFeature(newFeature);
 647                 }
 648               }
 649               cf.addMap(retrievedSequence, map.getTo(), map.getMap());
 650             } catch (Exception e)
 651             {
 652               System.err.println(
 653                       "Exception when consolidating Mapped sequence set...");
 654               e.printStackTrace(System.err);
 655             }
 656           }
 657         }
 658       }
 659     }
 660     if (imported)
 661     {
 662       retrievedSequence.updatePDBIds();
 663       rseqs.add(retrievedSequence);
 664       if (dataset.findIndex(retrievedSequence) == -1)
 665       {
 666         dataset.addSequence(retrievedSequence);
 667         matcher.add(retrievedSequence);
 668       }
 669     }
 670     return imported;
 671   }
 672
 673   /**
 674    * Sets the inverse sequence mapping in the corresponding dbref of the mapped
 675    * to sequence (if any). This is used after fetching a cross-referenced
 676    * sequence, if the fetched sequence has a mapping to the original sequence,
 677    * to set the mapping in the original sequence's dbref.
 678    *
 679    * @param mapFrom
 680    *          the sequence mapped from
 681    * @param dbref
 682    * @param mappings
 683    */
 684   void setReverseMapping(SequenceI mapFrom, DBRefEntry dbref,
 685           AlignedCodonFrame mappings)
 686   {
 687     SequenceI mapTo = dbref.getMap().getTo();
 688     if (mapTo == null)
 689     {
 690       return;
 691     }
 692     List<DBRefEntry> dbrefs = mapTo.getDBRefs();
 693     if (dbrefs == null)
 694     {
 695       return;
 696     }
 697     for (DBRefEntry toRef : dbrefs)
 698     {
 699       if (toRef.hasMap() && mapFrom == toRef.getMap().getTo())
 700       {
 701         /*
 702          * found the reverse dbref; update its mapping if null
 703          */
 704         if (toRef.getMap().getMap() == null)
 705         {
 706           MapList inverse = dbref.getMap().getMap().getInverse();
 707           toRef.getMap().setMap(inverse);
 708           mappings.addMap(mapTo, mapFrom, inverse);
 709         }
 710       }
 711     }
 712   }
 713
 714   /**
 715    * Returns null or the first sequence in the dataset which is identical to
 716    * xref.mapTo, and has a) a primary dbref matching xref, or if none found, the
 717    * first one with an ID source|xrefacc
 718    *
 719    * @param xref
 720    *          with map and mapped-to sequence
 721    * @return
 722    */
 723   SequenceI findInDataset(DBRefEntry xref)
 724   {
 725     if (xref == null || !xref.hasMap() || xref.getMap().getTo() == null)
 726     {
 727       return null;
 728     }
 729     SequenceI mapsTo = xref.getMap().getTo();
 730     String name = xref.getAccessionId();
 731     String name2 = xref.getSource() + "|" + name;
 732     SequenceI dss = mapsTo.getDatasetSequence() == null ? mapsTo
 733             : mapsTo.getDatasetSequence();
 734     // first check ds if ds is directly referenced
 735     if (dataset.findIndex(dss) > -1)
 736     {
 737       return dss;
 738     }
 739     DBRefEntry template = new DBRefEntry(xref.getSource(), null,
 740             xref.getAccessionId());
 741     /**
 742      * remember the first ID match - in case we don't find a match to template
 743      */
 744     SequenceI firstIdMatch = null;
 745     for (SequenceI seq : dataset.getSequences())
 746     {
 747       // first check primary refs.
 748       List<DBRefEntry> match = DBRefUtils.searchRefs(
 749               seq.getPrimaryDBRefs(), template, DBRefUtils.SEARCH_MODE_FULL);
 750       if (match != null && match.size() == 1 && sameSequence(seq, dss))
 751       {
 752         return seq;
 753       }
 754       /*
 755        * clumsy alternative to using SequenceIdMatcher which currently
 756        * returns sequences with a dbref to the matched accession id
 757        * which we don't want
 758        */
 759       if (firstIdMatch == null && (name.equals(seq.getName())
 760               || seq.getName().startsWith(name2)))
 761       {
 762         if (sameSequence(seq, dss))
 763         {
 764           firstIdMatch = seq;
 765         }
 766       }
 767     }
 768     return firstIdMatch;
 769   }
 770
 771   /**
 772    * Answers true if seq1 and seq2 contain exactly the same characters (ignoring
 773    * case), else false. This method compares the lengths, then each character in
 774    * turn, in order to 'fail fast'. For case-sensitive comparison, it would be
 775    * possible to use Arrays.equals(seq1.getSequence(), seq2.getSequence()).
 776    *
 777    * @param seq1
 778    * @param seq2
 779    * @return
 780    */
 781   // TODO move to Sequence / SequenceI
 782   static boolean sameSequence(SequenceI seq1, SequenceI seq2)
 783   {
 784     if (seq1 == seq2)
 785     {
 786       return true;
 787     }
 788     if (seq1 == null || seq2 == null)
 789     {
 790       return false;
 791     }
 792
 793     if (seq1.getLength() != seq2.getLength())
 794     {
 795       return false;
 796     }
 797     int length = seq1.getLength();
 798     for (int i = 0; i < length; i++)
 799     {
 800       int diff = seq1.getCharAt(i) - seq2.getCharAt(i);
 801       /*
 802        * same char or differ in case only ('a'-'A' == 32)
 803        */
 804       if (diff != 0 && diff != 32 && diff != -32)
 805       {
 806         return false;
 807       }
 808     }
 809     return true;
 810   }
 811
 812   /**
 813    * Updates any empty mappings in the cross-references with one to a compatible
 814    * retrieved sequence if found, and adds any new mappings to the
 815    * AlignedCodonFrame
 816    *
 817    * @param mapFrom
 818    * @param xrefs
 819    * @param retrieved
 820    * @param acf
 821    */
 822   void updateDbrefMappings(SequenceI mapFrom, List<DBRefEntry> xrefs,
 823           SequenceI[] retrieved, AlignedCodonFrame acf, boolean fromDna)
 824   {
 825     SequenceIdMatcher idMatcher = new SequenceIdMatcher(retrieved);
 826     for (DBRefEntry xref : xrefs)
 827     {
 828       if (!xref.hasMap())
 829       {
 830         String targetSeqName = xref.getSource() + "|"
 831                 + xref.getAccessionId();
 832         SequenceI[] matches = idMatcher.findAllIdMatches(targetSeqName);
 833         if (matches == null)
 834         {
 835           return;
 836         }
 837         for (SequenceI seq : matches)
 838         {
 839           constructMapping(mapFrom, seq, xref, acf, fromDna);
 840         }
 841       }
 842     }
 843   }
 844
 845   /**
 846    * Tries to make a mapping between sequences. If successful, adds the mapping
 847    * to the dbref and the mappings collection and answers true, otherwise
 848    * answers false. The following methods of making are mapping are tried in
 849    * turn:
 850    * <ul>
 851    * <li>if 'mapTo' holds a mapping to 'mapFrom', take the inverse; this is, for
 852    * example, the case after fetching EMBL cross-references for a Uniprot
 853    * sequence</li>
 854    * <li>else check if the dna translates exactly to the protein (give or take
 855    * start and stop codons></li>
 856    * <li>else try to map based on CDS features on the dna sequence</li>
 857    * </ul>
 858    *
 859    * @param mapFrom
 860    * @param mapTo
 861    * @param xref
 862    * @param mappings
 863    * @return
 864    */
 865   boolean constructMapping(SequenceI mapFrom, SequenceI mapTo,
 866           DBRefEntry xref, AlignedCodonFrame mappings, boolean fromDna)
 867   {
 868     MapList mapping = null;
 869     SequenceI dsmapFrom = mapFrom.getDatasetSequence() == null ? mapFrom
 870             : mapFrom.getDatasetSequence();
 871     SequenceI dsmapTo = mapTo.getDatasetSequence() == null ? mapTo
 872             : mapTo.getDatasetSequence();
 873     /*
 874      * look for a reverse mapping, if found make its inverse.
 875      * Note - we do this on dataset sequences only.
 876      */
 877     if (dsmapTo.getDBRefs() != null)
 878     {
 879       for (DBRefEntry dbref : dsmapTo.getDBRefs())
 880       {
 881         String name = dbref.getSource() + "|" + dbref.getAccessionId();
 882         if (dbref.hasMap() && dsmapFrom.getName().startsWith(name))
 883         {
 884           /*
 885            * looks like we've found a map from 'mapTo' to 'mapFrom'
 886            * - invert it to make the mapping the other way
 887            */
 888           MapList reverse = dbref.getMap().getMap().getInverse();
 889           xref.setMap(new Mapping(dsmapTo, reverse));
 890           mappings.addMap(mapFrom, dsmapTo, reverse);
 891           return true;
 892         }
 893       }
 894     }
 895
 896     if (fromDna)
 897     {
 898       mapping = AlignmentUtils.mapCdnaToProtein(mapTo, mapFrom);
 899     }
 900     else
 901     {
 902       mapping = AlignmentUtils.mapCdnaToProtein(mapFrom, mapTo);
 903       if (mapping != null)
 904       {
 905         mapping = mapping.getInverse();
 906       }
 907     }
 908     if (mapping == null)
 909     {
 910       return false;
 911     }
 912     xref.setMap(new Mapping(mapTo, mapping));
 913
 914     /*
 915      * and add a reverse DbRef with the inverse mapping
 916      */
 917     if (mapFrom.getDatasetSequence() != null && false)
 918     // && mapFrom.getDatasetSequence().getSourceDBRef() != null)
 919     {
 920       // possible need to search primary references... except, why doesn't xref
 921       // == getSourceDBRef ??
 922       // DBRefEntry dbref = new DBRefEntry(mapFrom.getDatasetSequence()
 923       // .getSourceDBRef());
 924       // dbref.setMap(new Mapping(mapFrom.getDatasetSequence(), mapping
 925       // .getInverse()));
 926       // mapTo.addDBRef(dbref);
 927     }
 928
 929     if (fromDna)
 930     {
 931       AlignmentUtils.computeProteinFeatures(mapFrom, mapTo, mapping);
 932       mappings.addMap(mapFrom, mapTo, mapping);
 933     }
 934     else
 935     {
 936       mappings.addMap(mapTo, mapFrom, mapping.getInverse());
 937     }
 938
 939     return true;
 940   }
 941
 942   /**
 943    * find references to lrfs in the cross-reference set of each sequence in
 944    * dataset (that is not equal to sequenceI) Identifies matching DBRefEntry
 945    * based on source and accession string only - Map and Version are nulled.
 946    *
 947    * @param fromDna
 948    *          - true if context was searching from Dna sequences, false if
 949    *          context was searching from Protein sequences
 950    * @param sequenceI
 951    * @param lrfs
 952    * @param foundSeqs
 953    * @return true if matches were found.
 954    */
 955   private boolean searchDatasetXrefs(boolean fromDna, SequenceI sequenceI,
 956           List<DBRefEntry> lrfs, List<SequenceI> foundSeqs,
 957           AlignedCodonFrame cf)
 958   {
 959     boolean found = false;
 960     if (lrfs == null)
 961     {
 962       return false;
 963     }
 964     for (int i = 0, n = lrfs.size(); i < n; i++)
 965     {
 966 //      DBRefEntry xref = new DBRefEntry(lrfs.get(i));
 967 //      // add in wildcards
 968 //      xref.setVersion(null);
 969 //      xref.setMap(null);
 970       found |= searchDataset(fromDna, sequenceI, lrfs.get(i), foundSeqs, cf,
 971               false, DBRefUtils.SEARCH_MODE_NO_MAP_NO_VERSION);
 972     }
 973     return found;
 974   }
 975
 976   /**
 977    * Searches dataset for DBRefEntrys matching the given one (xrf) and adds the
 978    * associated sequence to rseqs
 979    *
 980    * @param fromDna
 981    *          true if context was searching for refs *from* dna sequence, false
 982    *          if context was searching for refs *from* protein sequence
 983    * @param fromSeq
 984    *          a sequence to ignore (start point of search)
 985    * @param xrf
 986    *          a cross-reference to try to match
 987    * @param foundSeqs
 988    *          result list to add to
 989    * @param mappings
 990    *          a set of sequence mappings to add to
 991    * @param direct
 992    *          - indicates the type of relationship between returned sequences,
 993    *          xrf, and sequenceI that is required.
 994    *          <ul>
 995    *          <li>direct implies xrf is a primary reference for sequenceI AND
 996    *          the sequences to be located (eg a uniprot ID for a protein
 997    *          sequence, and a uniprot ref on a transcript sequence).</li>
 998    *          <li>indirect means xrf is a cross reference with respect to
 999    *          sequenceI or all the returned sequences (eg a genomic reference
1000    *          associated with a locus and one or more transcripts)</li>
1001    *          </ul>
1002    * @param mode   SEARCH_MODE_FULL for all; SEARCH_MODE_NO_MAP_NO_VERSION optional
1003    * @return true if relationship found and sequence added.
1004    */
1005   boolean searchDataset(boolean fromDna, SequenceI fromSeq, DBRefEntry xrf,
1006           List<SequenceI> foundSeqs, AlignedCodonFrame mappings,
1007           boolean direct, int mode)
1008   {
1009     boolean found = false;
1010     if (dataset == null)
1011     {
1012       return false;
1013     }
1014     if (dataset.getSequences() == null)
1015     {
1016       System.err.println("Empty dataset sequence set - NO VECTOR");
1017       return false;
1018     }
1019     List<SequenceI> ds = dataset.getSequences();
1020     synchronized (ds)
1021     {
1022       for (SequenceI nxt : ds)
1023       {
1024         if (nxt != null)
1025         {
1026           if (nxt.getDatasetSequence() != null)
1027           {
1028             System.err.println(
1029                     "Implementation warning: CrossRef initialised with a dataset alignment with non-dataset sequences in it! ("
1030                             + nxt.getDisplayId(true) + " has ds reference "
1031                             + nxt.getDatasetSequence().getDisplayId(true)
1032                             + ")");
1033           }
1034           if (nxt == fromSeq || nxt == fromSeq.getDatasetSequence())
1035           {
1036             continue;
1037           }
1038           /*
1039            * only look at same molecule type if 'direct', or
1040            * complementary type if !direct
1041            */
1042           {
1043             boolean isDna = !nxt.isProtein();
1044             if (direct ? (isDna != fromDna) : (isDna == fromDna))
1045             {
1046               // skip this sequence because it is wrong molecule type
1047               continue;
1048             }
1049           }
1050
1051           // look for direct or indirect references in common
1052           List<DBRefEntry> poss = nxt.getDBRefs();
1053           List<DBRefEntry> cands = null;
1054
1055           // todo: indirect specifies we select either direct references to nxt
1056           // that match xrf which is indirect to sequenceI, or indirect
1057           // references to nxt that match xrf which is direct to sequenceI
1058           cands = DBRefUtils.searchRefs(poss, xrf, mode);
1059           // else
1060           // {
1061           // poss = DBRefUtils.selectDbRefs(nxt.isProtein()!fromDna, poss);
1062           // cands = DBRefUtils.searchRefs(poss, xrf);
1063           // }
1064           if (!cands.isEmpty())
1065           {
1066             if (foundSeqs.contains(nxt))
1067             {
1068               continue;
1069             }
1070             found = true;
1071             foundSeqs.add(nxt);
1072             if (mappings != null && !direct)
1073             {
1074               /*
1075                * if the matched sequence has mapped dbrefs to
1076                * protein product / cdna, add equivalent mappings to
1077                * our source sequence
1078                */
1079               for (DBRefEntry candidate : cands)
1080               {
1081                 Mapping mapping = candidate.getMap();
1082                 if (mapping != null)
1083                 {
1084                   MapList map = mapping.getMap();
1085                   if (mapping.getTo() != null
1086                           && map.getFromRatio() != map.getToRatio())
1087                   {
1088                     /*
1089                      * add a mapping, as from dna to peptide sequence
1090                      */
1091                     if (map.getFromRatio() == 3)
1092                     {
1093                       mappings.addMap(nxt, fromSeq, map);
1094                     }
1095                     else
1096                     {
1097                       mappings.addMap(nxt, fromSeq, map.getInverse());
1098                     }
1099                   }
1100                 }
1101               }
1102             }
1103           }
1104         }
1105       }
1106     }
1107     return found;
1108   }
1109 }