src/jalview/analysis/CrossRef.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.analysis;
  22
  23 import jalview.datamodel.AlignedCodonFrame;
  24 import jalview.datamodel.Alignment;
  25 import jalview.datamodel.AlignmentI;
  26 import jalview.datamodel.DBRefEntry;
  27 import jalview.datamodel.Mapping;
  28 import jalview.datamodel.Sequence;
  29 import jalview.datamodel.SequenceFeature;
  30 import jalview.datamodel.SequenceI;
  31 import jalview.util.DBRefUtils;
  32 import jalview.util.MapList;
  33 import jalview.ws.SequenceFetcherFactory;
  34 import jalview.ws.seqfetcher.ASequenceFetcher;
  35
  36 import java.util.ArrayList;
  37 import java.util.Iterator;
  38 import java.util.List;
  39
  40 /**
  41  * Functions for cross-referencing sequence databases.
  42  *
  43  * @author JimP
  44  *
  45  */
  46 public class CrossRef
  47 {
  48   /*
  49    * the dataset of the alignment for which we are searching for
  50    * cross-references; in some cases we may resolve xrefs by
  51    * searching in the dataset
  52    */
  53   private AlignmentI dataset;
  54
  55   /*
  56    * the sequences for which we are seeking cross-references
  57    */
  58   private SequenceI[] fromSeqs;
  59
  60   /**
  61    * matcher built from dataset
  62    */
  63   SequenceIdMatcher matcher;
  64
  65   /**
  66    * sequences found by cross-ref searches to fromSeqs
  67    */
  68   List<SequenceI> rseqs;
  69
  70   /**
  71    * mappings constructed
  72    */
  73   AlignedCodonFrame cf;
  74
  75   /**
  76    * Constructor
  77    *
  78    * @param seqs
  79    *          the sequences for which we are seeking cross-references
  80    * @param ds
  81    *          the containing alignment dataset (may be searched to resolve
  82    *          cross-references)
  83    */
  84   public CrossRef(SequenceI[] seqs, AlignmentI ds)
  85   {
  86     fromSeqs = seqs;
  87     dataset = ds.getDataset() == null ? ds : ds.getDataset();
  88   }
  89
  90   /**
  91    * Returns a list of distinct database sources for which sequences have either
  92    * <ul>
  93    * <li>a (dna-to-protein or protein-to-dna) cross-reference</li>
  94    * <li>an indirect cross-reference - a (dna-to-protein or protein-to-dna)
  95    * reference from another sequence in the dataset which has a cross-reference
  96    * to a direct DBRefEntry on the given sequence</li>
  97    * </ul>
  98    *
  99    * @param dna
 100    *          - when true, cross-references *from* dna returned. When false,
 101    *          cross-references *from* protein are returned
 102    * @return
 103    */
 104   public List<String> findXrefSourcesForSequences(boolean dna)
 105   {
 106     List<String> sources = new ArrayList<String>();
 107     for (SequenceI seq : fromSeqs)
 108     {
 109       if (seq != null)
 110       {
 111         findXrefSourcesForSequence(seq, dna, sources);
 112       }
 113     }
 114     return sources;
 115   }
 116
 117   /**
 118    * Returns a list of distinct database sources for which a sequence has either
 119    * <ul>
 120    * <li>a (dna-to-protein or protein-to-dna) cross-reference</li>
 121    * <li>an indirect cross-reference - a (dna-to-protein or protein-to-dna)
 122    * reference from another sequence in the dataset which has a cross-reference
 123    * to a direct DBRefEntry on the given sequence</li>
 124    * </ul>
 125    *
 126    * @param seq
 127    *          the sequence whose dbrefs we are searching against
 128    * @param sources
 129    *          a list of sources to add matches to
 130    */
 131   void findXrefSourcesForSequence(SequenceI seq, boolean fromDna,
 132           List<String> sources)
 133   {
 134     /*
 135      * first find seq's xrefs (dna-to-peptide or peptide-to-dna)
 136      */
 137     DBRefEntry[] rfs = DBRefUtils.selectDbRefs(!fromDna, seq.getDBRefs());
 138     addXrefsToSources(rfs, sources);
 139     if (dataset != null)
 140     {
 141       /*
 142        * find sequence's direct (dna-to-dna, peptide-to-peptide) xrefs
 143        */
 144       DBRefEntry[] lrfs = DBRefUtils.selectDbRefs(fromDna, seq.getDBRefs());
 145       List<SequenceI> rseqs = new ArrayList<SequenceI>();
 146
 147       /*
 148        * find sequences in the alignment which xref one of these DBRefs
 149        * i.e. is xref-ed to a common sequence identifier
 150        */
 151       searchDatasetXrefs(fromDna, seq, lrfs, rseqs, null);
 152
 153       /*
 154        * add those sequences' (dna-to-peptide or peptide-to-dna) dbref sources
 155        */
 156       for (SequenceI rs : rseqs)
 157       {
 158         DBRefEntry[] xrs = DBRefUtils
 159                 .selectDbRefs(!fromDna, rs.getDBRefs());
 160         addXrefsToSources(xrs, sources);
 161       }
 162     }
 163   }
 164
 165   /**
 166    * Helper method that adds the source identifiers of some cross-references to
 167    * a (non-redundant) list of database sources
 168    *
 169    * @param xrefs
 170    * @param sources
 171    */
 172   void addXrefsToSources(DBRefEntry[] xrefs, List<String> sources)
 173   {
 174     if (xrefs != null)
 175     {
 176       for (DBRefEntry ref : xrefs)
 177       {
 178         /*
 179          * avoid duplication e.g. ENSEMBL and Ensembl
 180          */
 181         String source = DBRefUtils.getCanonicalName(ref.getSource());
 182         if (!sources.contains(source))
 183         {
 184           sources.add(source);
 185         }
 186       }
 187     }
 188   }
 189
 190   /**
 191    * Attempts to find cross-references from the sequences provided in the
 192    * constructor to the given source database. Cross-references may be found
 193    * <ul>
 194    * <li>in dbrefs on the sequence which hold a mapping to a sequence
 195    * <ul>
 196    * <li>provided with a fetched sequence (e.g. ENA translation), or</li>
 197    * <li>populated previously after getting cross-references</li>
 198    * </ul>
 199    * <li>as other sequences in the alignment which share a dbref identifier with
 200    * the sequence</li>
 201    * <li>by fetching from the remote database</li>
 202    * </ul>
 203    * The cross-referenced sequences, and mappings to them, are added to the
 204    * alignment dataset.
 205    *
 206    * @param source
 207    * @return cross-referenced sequences (as dataset sequences)
 208    */
 209   public Alignment findXrefSequences(String source, boolean fromDna)
 210   {
 211
 212     rseqs = new ArrayList<SequenceI>();
 213     cf = new AlignedCodonFrame();
 214     matcher = new SequenceIdMatcher(
 215             dataset.getSequences());
 216
 217     for (SequenceI seq : fromSeqs)
 218     {
 219       SequenceI dss = seq;
 220       while (dss.getDatasetSequence() != null)
 221       {
 222         dss = dss.getDatasetSequence();
 223       }
 224       boolean found = false;
 225       DBRefEntry[] xrfs = DBRefUtils
 226               .selectDbRefs(!fromDna, dss.getDBRefs());
 227       if ((xrfs == null || xrfs.length == 0) && dataset != null)
 228       {
 229         /*
 230          * found no suitable dbrefs on sequence - look for sequences in the
 231          * alignment which share a dbref with this one
 232          */
 233         DBRefEntry[] lrfs = DBRefUtils.selectDbRefs(fromDna,
 234                 seq.getDBRefs());
 235
 236         /*
 237          * find sequences (except this one!), of complementary type,
 238          *  which have a dbref to an accession id for this sequence,
 239          *  and add them to the results
 240          */
 241         found = searchDatasetXrefs(fromDna, dss, lrfs, rseqs, cf);
 242       }
 243       if (xrfs == null && !found)
 244       {
 245         /*
 246          * no dbref to source on this sequence or matched
 247          * complementary sequence in the dataset
 248          */
 249         continue;
 250       }
 251       List<DBRefEntry> sourceRefs = DBRefUtils.searchRefsForSource(xrfs,
 252               source);
 253       Iterator<DBRefEntry> refIterator = sourceRefs.iterator();
 254       while (refIterator.hasNext())
 255       {
 256         DBRefEntry xref = refIterator.next();
 257         found = false;
 258         if (xref.hasMap())
 259         {
 260           SequenceI mappedTo = xref.getMap().getTo();
 261           if (mappedTo != null)
 262           {
 263             /*
 264              * dbref contains the sequence it maps to; add it to the
 265              * results unless we have done so already (could happen if
 266              * fetching xrefs for sequences which have xrefs in common)
 267              * for example: UNIPROT {P0CE19, P0CE20} -> EMBL {J03321, X06707}
 268              */
 269             found = true;
 270             /*
 271              * problem: matcher.findIdMatch() is lenient - returns a sequence
 272              * with a dbref to the search arg e.g. ENST for ENSP - wrong
 273              * but findInDataset() matches ENSP when looking for Uniprot...
 274              */
 275             SequenceI matchInDataset = findInDataset(xref);
 276             /*matcher.findIdMatch(mappedTo);*/
 277             if (matchInDataset != null)
 278             {
 279               if (!rseqs.contains(matchInDataset))
 280               {
 281                 rseqs.add(matchInDataset);
 282               }
 283               refIterator.remove();
 284               continue;
 285             }
 286             SequenceI rsq = new Sequence(mappedTo);
 287             rseqs.add(rsq);
 288             if (xref.getMap().getMap().getFromRatio() != xref.getMap()
 289                     .getMap().getToRatio())
 290             {
 291               // get sense of map correct for adding to product alignment.
 292               if (fromDna)
 293               {
 294                 // map is from dna seq to a protein product
 295                 cf.addMap(dss, rsq, xref.getMap().getMap());
 296               }
 297               else
 298               {
 299                 // map should be from protein seq to its coding dna
 300                 cf.addMap(rsq, dss, xref.getMap().getMap().getInverse());
 301               }
 302             }
 303           }
 304         }
 305
 306         if (!found)
 307         {
 308           SequenceI matchedSeq = matcher.findIdMatch(xref.getSource() + "|"
 309                   + xref.getAccessionId());
 310           if (matchedSeq != null)
 311           {
 312             if (constructMapping(seq, matchedSeq, xref, cf, fromDna))
 313             {
 314               found = true;
 315             }
 316           }
 317         }
 318
 319         if (!found)
 320         {
 321           // do a bit more work - search for sequences with references matching
 322           // xrefs on this sequence.
 323           found = searchDataset(fromDna, dss, xref, rseqs, cf, false);
 324         }
 325         if (found)
 326         {
 327           refIterator.remove();
 328         }
 329       }
 330
 331       /*
 332        * fetch from source database any dbrefs we haven't resolved up to here
 333        */
 334       if (!sourceRefs.isEmpty())
 335       {
 336         retrieveCrossRef(sourceRefs, seq, xrfs, fromDna);
 337       }
 338     }
 339
 340     Alignment ral = null;
 341     if (rseqs.size() > 0)
 342     {
 343       ral = new Alignment(rseqs.toArray(new SequenceI[rseqs.size()]));
 344       if (!cf.isEmpty())
 345       {
 346         dataset.addCodonFrame(cf);
 347       }
 348     }
 349     return ral;
 350   }
 351
 352   private void retrieveCrossRef(List<DBRefEntry> sourceRefs, SequenceI seq,
 353           DBRefEntry[] xrfs, boolean fromDna)
 354   {
 355     ASequenceFetcher sftch = SequenceFetcherFactory.getSequenceFetcher();
 356     SequenceI[] retrieved = null;
 357     SequenceI dss = null;
 358     try
 359     {
 360       retrieved = sftch.getSequences(sourceRefs, !fromDna);
 361     } catch (Exception e)
 362     {
 363       System.err
 364               .println("Problem whilst retrieving cross references for Sequence : "
 365                       + seq.getName());
 366       e.printStackTrace();
 367     }
 368
 369     if (retrieved != null)
 370     {
 371       updateDbrefMappings(seq, xrfs, retrieved, cf, fromDna);
 372       for (SequenceI retrievedSequence : retrieved)
 373       {
 374         // dataset gets contaminated ccwith non-ds sequences. why ??!
 375         // try: Ensembl -> Nuc->Ensembl, Nuc->Uniprot-->Protein->EMBL->
 376         SequenceI retrievedDss = retrievedSequence.getDatasetSequence() == null ? retrievedSequence
 377                 : retrievedSequence.getDatasetSequence();
 378         DBRefEntry[] dbr = retrievedSequence.getDBRefs();
 379         if (dbr != null)
 380         {
 381           for (DBRefEntry dbref : dbr)
 382           {
 383             // find any entry where we should put in the sequence being
 384             // cross-referenced into the map
 385             Mapping map = dbref.getMap();
 386             if (map != null)
 387             {
 388               if (map.getTo() != null && map.getMap() != null)
 389               {
 390                 // TODO findInDataset requires exact sequence match but
 391                 // 'congruent' test is only for the mapped part
 392                 // maybe not a problem in practice since only ENA provide a
 393                 // mapping and it is to the full protein translation of CDS
 394                 SequenceI matched = findInDataset(dbref);
 395                 // matcher.findIdMatch(map.getTo());
 396                 if (matched != null)
 397                 {
 398                   /*
 399                    * already got an xref to this sequence; update this
 400                    * map to point to the same sequence, and add
 401                    * any new dbrefs to it
 402                    */
 403                   DBRefEntry[] toRefs = map.getTo().getDBRefs();
 404                   if (toRefs != null)
 405                   {
 406                     for (DBRefEntry ref : toRefs)
 407                     {
 408                       matched.addDBRef(ref); // add or update mapping
 409                     }
 410                   }
 411                   map.setTo(matched);
 412                 }
 413                 else
 414                 {
 415                   matcher.add(map.getTo());
 416                 }
 417                 try
 418                 {
 419                   // compare ms with dss and replace with dss in mapping
 420                   // if map is congruent
 421                   SequenceI ms = map.getTo();
 422                   int sf = map.getMap().getToLowest();
 423                   int st = map.getMap().getToHighest();
 424                   SequenceI mappedrg = ms.getSubSequence(sf, st);
 425                   // SequenceI loc = dss.getSubSequence(sf, st);
 426                   if (mappedrg.getLength() > 0
 427                           && ms.getSequenceAsString().equals(
 428                                   dss.getSequenceAsString()))
 429                   // && mappedrg.getSequenceAsString().equals(
 430                   // loc.getSequenceAsString()))
 431                   {
 432                     String msg = "Mapping updated from " + ms.getName()
 433                             + " to retrieved crossreference "
 434                             + dss.getName();
 435                     System.out.println(msg);
 436                     map.setTo(dss);
 437
 438                     /*
 439                      * give the reverse reference the inverse mapping
 440                      * (if it doesn't have one already)
 441                      */
 442                     setReverseMapping(dss, dbref, cf);
 443
 444                     /*
 445                      * copy sequence features as well, avoiding
 446                      * duplication (e.g. same variation from two
 447                      * transcripts)
 448                      */
 449                     SequenceFeature[] sfs = ms.getSequenceFeatures();
 450                     if (sfs != null)
 451                     {
 452                       for (SequenceFeature feat : sfs)
 453                       {
 454                         /*
 455                          * make a flyweight feature object which ignores Parent
 456                          * attribute in equality test; this avoids creating many
 457                          * otherwise duplicate exon features on genomic sequence
 458                          */
 459                         SequenceFeature newFeature = new SequenceFeature(
 460                                 feat)
 461                         {
 462                           @Override
 463                           public boolean equals(Object o)
 464                           {
 465                             return super.equals(o, true);
 466                           }
 467                         };
 468                         dss.addSequenceFeature(newFeature);
 469                       }
 470                     }
 471                   }
 472                   cf.addMap(retrievedDss, map.getTo(), map.getMap());
 473                 } catch (Exception e)
 474                 {
 475                   System.err
 476                           .println("Exception when consolidating Mapped sequence set...");
 477                   e.printStackTrace(System.err);
 478                 }
 479               }
 480             }
 481           }
 482         }
 483         retrievedSequence.updatePDBIds();
 484         rseqs.add(retrievedDss);
 485         dataset.addSequence(retrievedDss);
 486         matcher.add(retrievedDss);
 487       }
 488     }
 489   }
 490   /**
 491    * Sets the inverse sequence mapping in the corresponding dbref of the mapped
 492    * to sequence (if any). This is used after fetching a cross-referenced
 493    * sequence, if the fetched sequence has a mapping to the original sequence,
 494    * to set the mapping in the original sequence's dbref.
 495    *
 496    * @param mapFrom
 497    *          the sequence mapped from
 498    * @param dbref
 499    * @param mappings
 500    */
 501   void setReverseMapping(SequenceI mapFrom, DBRefEntry dbref,
 502           AlignedCodonFrame mappings)
 503   {
 504     SequenceI mapTo = dbref.getMap().getTo();
 505     if (mapTo == null)
 506     {
 507       return;
 508     }
 509     DBRefEntry[] dbrefs = mapTo.getDBRefs();
 510     if (dbrefs == null)
 511     {
 512       return;
 513     }
 514     for (DBRefEntry toRef : dbrefs)
 515     {
 516       if (toRef.hasMap() && mapFrom == toRef.getMap().getTo())
 517       {
 518         /*
 519          * found the reverse dbref; update its mapping if null
 520          */
 521         if (toRef.getMap().getMap() == null)
 522         {
 523           MapList inverse = dbref.getMap().getMap().getInverse();
 524           toRef.getMap().setMap(inverse);
 525           mappings.addMap(mapTo, mapFrom, inverse);
 526         }
 527       }
 528     }
 529   }
 530
 531   /**
 532    * Returns the first identical sequence in the dataset if any, else null
 533    *
 534    * @param xref
 535    * @return
 536    */
 537   SequenceI findInDataset(DBRefEntry xref)
 538   {
 539     if (xref == null || !xref.hasMap() || xref.getMap().getTo() == null)
 540     {
 541       return null;
 542     }
 543     SequenceI mapsTo = xref.getMap().getTo();
 544     String name = xref.getAccessionId();
 545     String name2 = xref.getSource() + "|" + name;
 546     SequenceI dss = mapsTo.getDatasetSequence() == null ? mapsTo : mapsTo
 547             .getDatasetSequence();
 548     for (SequenceI seq : dataset.getSequences())
 549     {
 550       /*
 551        * clumsy alternative to using SequenceIdMatcher which currently
 552        * returns sequences with a dbref to the matched accession id
 553        * which we don't want
 554        */
 555       if (name.equals(seq.getName()) || seq.getName().startsWith(name2))
 556       {
 557         if (sameSequence(seq, dss))
 558         {
 559           return seq;
 560         }
 561       }
 562     }
 563     return null;
 564   }
 565
 566   /**
 567    * Answers true if seq1 and seq2 contain exactly the same characters (ignoring
 568    * case), else false. This method compares the lengths, then each character in
 569    * turn, in order to 'fail fast'. For case-sensitive comparison, it would be
 570    * possible to use Arrays.equals(seq1.getSequence(), seq2.getSequence()).
 571    *
 572    * @param seq1
 573    * @param seq2
 574    * @return
 575    */
 576   // TODO move to Sequence / SequenceI
 577   static boolean sameSequence(SequenceI seq1, SequenceI seq2)
 578   {
 579     if (seq1 == seq2)
 580     {
 581       return true;
 582     }
 583     if (seq1 == null || seq2 == null)
 584     {
 585       return false;
 586     }
 587     char[] c1 = seq1.getSequence();
 588     char[] c2 = seq2.getSequence();
 589     if (c1.length != c2.length)
 590     {
 591       return false;
 592     }
 593     for (int i = 0; i < c1.length; i++)
 594     {
 595       int diff = c1[i] - c2[i];
 596       /*
 597        * same char or differ in case only ('a'-'A' == 32)
 598        */
 599       if (diff != 0 && diff != 32 && diff != -32)
 600       {
 601         return false;
 602       }
 603     }
 604     return true;
 605   }
 606
 607   /**
 608    * Updates any empty mappings in the cross-references with one to a compatible
 609    * retrieved sequence if found, and adds any new mappings to the
 610    * AlignedCodonFrame
 611    *
 612    * @param mapFrom
 613    * @param xrefs
 614    * @param retrieved
 615    * @param acf
 616    */
 617   void updateDbrefMappings(SequenceI mapFrom, DBRefEntry[] xrefs,
 618           SequenceI[] retrieved, AlignedCodonFrame acf, boolean fromDna)
 619   {
 620     SequenceIdMatcher matcher = new SequenceIdMatcher(retrieved);
 621     for (DBRefEntry xref : xrefs)
 622     {
 623       if (!xref.hasMap())
 624       {
 625         String targetSeqName = xref.getSource() + "|"
 626                 + xref.getAccessionId();
 627         SequenceI[] matches = matcher.findAllIdMatches(targetSeqName);
 628         if (matches == null)
 629         {
 630           return;
 631         }
 632         for (SequenceI seq : matches)
 633         {
 634           constructMapping(mapFrom, seq, xref, acf, fromDna);
 635         }
 636       }
 637     }
 638   }
 639
 640   /**
 641    * Tries to make a mapping between sequences. If successful, adds the mapping
 642    * to the dbref and the mappings collection and answers true, otherwise
 643    * answers false. The following methods of making are mapping are tried in
 644    * turn:
 645    * <ul>
 646    * <li>if 'mapTo' holds a mapping to 'mapFrom', take the inverse; this is, for
 647    * example, the case after fetching EMBL cross-references for a Uniprot
 648    * sequence</li>
 649    * <li>else check if the dna translates exactly to the protein (give or take
 650    * start and stop codons></li>
 651    * <li>else try to map based on CDS features on the dna sequence</li>
 652    * </ul>
 653    *
 654    * @param mapFrom
 655    * @param mapTo
 656    * @param xref
 657    * @param mappings
 658    * @return
 659    */
 660   boolean constructMapping(SequenceI mapFrom, SequenceI mapTo,
 661           DBRefEntry xref, AlignedCodonFrame mappings, boolean fromDna)
 662   {
 663     MapList mapping = null;
 664
 665     /*
 666      * look for a reverse mapping, if found make its inverse
 667      */
 668     if (mapTo.getDBRefs() != null)
 669     {
 670       for (DBRefEntry dbref : mapTo.getDBRefs())
 671       {
 672         String name = dbref.getSource() + "|" + dbref.getAccessionId();
 673         if (dbref.hasMap() && mapFrom.getName().startsWith(name))
 674         {
 675           /*
 676            * looks like we've found a map from 'mapTo' to 'mapFrom'
 677            * - invert it to make the mapping the other way
 678            */
 679           MapList reverse = dbref.getMap().getMap().getInverse();
 680           xref.setMap(new Mapping(mapTo, reverse));
 681           mappings.addMap(mapFrom, mapTo, reverse);
 682           return true;
 683         }
 684       }
 685     }
 686
 687     if (fromDna)
 688     {
 689       mapping = AlignmentUtils.mapCdnaToProtein(mapTo, mapFrom);
 690     }
 691     else
 692     {
 693       mapping = AlignmentUtils.mapCdnaToProtein(mapFrom, mapTo);
 694       if (mapping != null)
 695       {
 696         mapping = mapping.getInverse();
 697       }
 698     }
 699     if (mapping == null)
 700     {
 701       return false;
 702     }
 703     xref.setMap(new Mapping(mapTo, mapping));
 704     if (fromDna)
 705     {
 706       AlignmentUtils.computeProteinFeatures(mapFrom, mapTo, mapping);
 707       mappings.addMap(mapFrom, mapTo, mapping);
 708     }
 709     else
 710     {
 711       mappings.addMap(mapTo, mapFrom, mapping.getInverse());
 712     }
 713
 714     return true;
 715   }
 716
 717   /**
 718    * find references to lrfs in the cross-reference set of each sequence in
 719    * dataset (that is not equal to sequenceI) Identifies matching DBRefEntry
 720    * based on source and accession string only - Map and Version are nulled.
 721    *
 722    * @param fromDna
 723    *          - true if context was searching from Dna sequences, false if
 724    *          context was searching from Protein sequences
 725    * @param sequenceI
 726    * @param lrfs
 727    * @param rseqs
 728    * @return true if matches were found.
 729    */
 730   private boolean searchDatasetXrefs(boolean fromDna, SequenceI sequenceI,
 731           DBRefEntry[] lrfs, List<SequenceI> rseqs, AlignedCodonFrame cf)
 732   {
 733     boolean found = false;
 734     if (lrfs == null)
 735     {
 736       return false;
 737     }
 738     for (int i = 0; i < lrfs.length; i++)
 739     {
 740       DBRefEntry xref = new DBRefEntry(lrfs[i]);
 741       // add in wildcards
 742       xref.setVersion(null);
 743       xref.setMap(null);
 744       found |= searchDataset(fromDna, sequenceI, xref, rseqs, cf, false);
 745     }
 746     return found;
 747   }
 748
 749   /**
 750    * Searches dataset for DBRefEntrys matching the given one (xrf) and adds the
 751    * associated sequence to rseqs
 752    *
 753    * @param fromDna
 754    *          true if context was searching for refs *from* dna sequence, false
 755    *          if context was searching for refs *from* protein sequence
 756    * @param sequenceI
 757    *          a sequence to ignore (start point of search)
 758    * @param xrf
 759    *          a cross-reference to try to match
 760    * @param rseqs
 761    *          result list to add to
 762    * @param cf
 763    *          a set of sequence mappings to add to
 764    * @param direct
 765    *          - search all references or only subset
 766    * @return true if relationship found and sequence added.
 767    */
 768   boolean searchDataset(boolean fromDna, SequenceI sequenceI,
 769           DBRefEntry xrf, List<SequenceI> rseqs, AlignedCodonFrame cf,
 770           boolean direct)
 771   {
 772     boolean found = false;
 773     if (dataset == null)
 774     {
 775       return false;
 776     }
 777     if (dataset.getSequences() == null)
 778     {
 779       System.err.println("Empty dataset sequence set - NO VECTOR");
 780       return false;
 781     }
 782     List<SequenceI> ds;
 783     synchronized (ds = dataset.getSequences())
 784     {
 785       for (SequenceI nxt : ds)
 786       {
 787         if (nxt != null)
 788         {
 789           if (nxt.getDatasetSequence() != null)
 790           {
 791             System.err
 792                     .println("Implementation warning: getProducts passed a dataset alignment without dataset sequences in it!");
 793           }
 794           if (nxt == sequenceI || nxt == sequenceI.getDatasetSequence())
 795           {
 796             continue;
 797           }
 798           /*
 799            * only look at same molecule type if 'direct', or
 800            * complementary type if !direct
 801            */
 802           {
 803             boolean isDna = !nxt.isProtein();
 804             if (direct ? (isDna != fromDna) : (isDna == fromDna))
 805             {
 806               // skip this sequence because it is wrong molecule type
 807               continue;
 808             }
 809           }
 810
 811           // look for direct or indirect references in common
 812           DBRefEntry[] poss = nxt.getDBRefs();
 813           List<DBRefEntry> cands = null;
 814           /*
 815            * TODO does this make any sense?
 816            * if 'direct', search the dbrefs for xrf
 817            * else, filter the dbrefs by type and then search for xrf
 818            * - the result is the same isn't it?
 819            */
 820           if (direct)
 821           {
 822             cands = DBRefUtils.searchRefs(poss, xrf);
 823           }
 824           else
 825           {
 826             poss = DBRefUtils.selectDbRefs(!fromDna, poss);
 827             cands = DBRefUtils.searchRefs(poss, xrf);
 828           }
 829           if (!cands.isEmpty())
 830           {
 831             if (!rseqs.contains(nxt))
 832             {
 833               found = true;
 834               rseqs.add(nxt);
 835               if (cf != null)
 836               {
 837                 // don't search if we aren't given a codon map object
 838                 for (DBRefEntry candidate : cands)
 839                 {
 840                   Mapping mapping = candidate.getMap();
 841                   if (mapping != null)
 842                   {
 843                     MapList map = mapping.getMap();
 844                     if (mapping.getTo() != null
 845                             && map.getFromRatio() != map.getToRatio())
 846                     {
 847                       // get sense of map correct for adding to product
 848                       // alignment.
 849                       if (fromDna)
 850                       {
 851                         // map is from dna seq to a protein product
 852                         cf.addMap(sequenceI, nxt, map);
 853                       }
 854                       else
 855                       {
 856                         // map should be from protein seq to its coding dna
 857                         cf.addMap(nxt, sequenceI, map.getInverse());
 858                       }
 859                     }
 860                   }
 861                 }
 862               }
 863               // TODO: add mapping between sequences if necessary
 864             }
 865           }
 866         }
 867       }
 868     }
 869     return found;
 870   }
 871 }