JAL-1264 adding show/hide annotation options to applet
[jalview.git] / src / jalview / analysis / AlignmentUtils.java
index 7116af9..6f0125d 100644 (file)
@@ -1,6 +1,6 @@
 /*
- * Jalview - A Sequence Alignment Editor and Viewer (Version 2.8.2)
- * Copyright (C) 2014 The Jalview Authors
+ * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
+ * Copyright (C) $$Year-Rel$$ The Jalview Authors
  * 
  * This file is part of Jalview.
  * 
  */
 package jalview.analysis;
 
+import java.util.ArrayList;
+import java.util.Arrays;
+import java.util.Collection;
+import java.util.HashMap;
+import java.util.HashSet;
+import java.util.Iterator;
+import java.util.LinkedHashMap;
+import java.util.List;
+import java.util.Map;
+import java.util.Map.Entry;
+import java.util.Set;
+import java.util.TreeMap;
+
+import jalview.datamodel.AlignedCodon;
 import jalview.datamodel.AlignedCodonFrame;
 import jalview.datamodel.AlignmentAnnotation;
 import jalview.datamodel.AlignmentI;
+import jalview.datamodel.Mapping;
+import jalview.datamodel.SearchResults;
+import jalview.datamodel.Sequence;
+import jalview.datamodel.SequenceGroup;
 import jalview.datamodel.SequenceI;
 import jalview.schemes.ResidueProperties;
 import jalview.util.MapList;
 
-import java.util.ArrayList;
-import java.util.LinkedHashMap;
-import java.util.List;
-import java.util.Map;
-import java.util.Set;
-
 /**
  * grab bag of useful alignment manipulation operations Expect these to be
  * refactored elsewhere at some point.
@@ -44,15 +56,6 @@ public class AlignmentUtils
 {
 
   /**
-   * Represents the 3 possible results of trying to map one alignment to
-   * another.
-   */
-  public enum MappingResult
-  {
-    Mapped, NotMapped, AlreadyMapped
-  }
-
-  /**
    * given an existing alignment, create a new alignment including all, or up to
    * flankSize additional symbols from each sequence's dataset sequence
    * 
@@ -205,45 +208,95 @@ public class AlignmentUtils
 
   /**
    * Build mapping of protein to cDNA alignment. Mappings are made between
-   * sequences which have the same name and compatible lengths. Has a 3-valued
-   * result: either Mapped (at least one sequence mapping was created),
-   * AlreadyMapped (all possible sequence mappings already exist), or NotMapped
-   * (no possible sequence mappings exist).
+   * sequences where the cDNA translates to the protein sequence. Any new
+   * mappings are added to the protein alignment. Returns true if any mappings
+   * either already exist or were added, else false.
    * 
    * @param proteinAlignment
    * @param cdnaAlignment
    * @return
    */
-  public static MappingResult mapProteinToCdna(
+  public static boolean mapProteinToCdna(
           final AlignmentI proteinAlignment,
           final AlignmentI cdnaAlignment)
   {
-    boolean mappingPossible = false;
-    boolean mappingPerformed = false;
+    if (proteinAlignment == null || cdnaAlignment == null)
+    {
+      return false;
+    }
+
+    Set<SequenceI> mappedDna = new HashSet<SequenceI>();
+    Set<SequenceI> mappedProtein = new HashSet<SequenceI>();
 
-    List<SequenceI> thisSeqs = proteinAlignment.getSequences();
-  
     /*
-     * Build a look-up of cDNA sequences by name, for matching purposes.
+     * First pass - map sequences where cross-references exist. This include
+     * 1-to-many mappings to support, for example, variant cDNA.
      */
-    Map<String, List<SequenceI>> cdnaSeqs = cdnaAlignment
-            .getSequencesByName();
-  
+    boolean mappingPerformed = mapProteinToCdna(proteinAlignment,
+            cdnaAlignment, mappedDna, mappedProtein, true);
+
+    /*
+     * Second pass - map sequences where no cross-references exist. This only
+     * does 1-to-1 mappings and assumes corresponding sequences are in the same
+     * order in the alignments.
+     */
+    mappingPerformed |= mapProteinToCdna(proteinAlignment, cdnaAlignment,
+            mappedDna, mappedProtein, false);
+    return mappingPerformed;
+  }
+
+  /**
+   * Make mappings between compatible sequences (where the cDNA translation
+   * matches the protein).
+   * 
+   * @param proteinAlignment
+   * @param cdnaAlignment
+   * @param mappedDna
+   *          a set of mapped DNA sequences (to add to)
+   * @param mappedProtein
+   *          a set of mapped Protein sequences (to add to)
+   * @param xrefsOnly
+   *          if true, only map sequences where xrefs exist
+   * @return
+   */
+  protected static boolean mapProteinToCdna(
+          final AlignmentI proteinAlignment,
+          final AlignmentI cdnaAlignment, Set<SequenceI> mappedDna,
+          Set<SequenceI> mappedProtein, boolean xrefsOnly)
+  {
+    boolean mappingPerformed = false;
+    List<SequenceI> thisSeqs = proteinAlignment.getSequences();
     for (SequenceI aaSeq : thisSeqs)
     {
+      boolean proteinMapped = false;
       AlignedCodonFrame acf = new AlignedCodonFrame();
-      List<SequenceI> candidates = cdnaSeqs.get(aaSeq.getName());
-      if (candidates == null)
+
+      for (SequenceI cdnaSeq : cdnaAlignment.getSequences())
       {
         /*
-         * No cDNA sequence with matching name, so no mapping possible for this
-         * protein sequence
+         * Always try to map if sequences have xref to each other; this supports
+         * variant cDNA or alternative splicing for a protein sequence.
+         * 
+         * If no xrefs, try to map progressively, assuming that alignments have
+         * mappable sequences in corresponding order. These are not
+         * many-to-many, as that would risk mixing species with similar cDNA
+         * sequences.
          */
-        continue;
-      }
-      mappingPossible = true;
-      for (SequenceI cdnaSeq : candidates)
-      {
+        if (xrefsOnly && !CrossRef.haveCrossRef(aaSeq, cdnaSeq))
+        {
+          continue;
+        }
+
+        /*
+         * Don't map non-xrefd sequences more than once each. This heuristic
+         * allows us to pair up similar sequences in ordered alignments.
+         */
+        if (!xrefsOnly
+                && (mappedProtein.contains(aaSeq) || mappedDna
+                        .contains(cdnaSeq)))
+        {
+          continue;
+        }
         if (!mappingExists(proteinAlignment.getCodonFrames(),
                 aaSeq.getDatasetSequence(), cdnaSeq.getDatasetSequence()))
         {
@@ -252,25 +305,18 @@ public class AlignmentUtils
           {
             acf.addMap(cdnaSeq, aaSeq, map);
             mappingPerformed = true;
+            proteinMapped = true;
+            mappedDna.add(cdnaSeq);
+            mappedProtein.add(aaSeq);
           }
         }
       }
-      proteinAlignment.addCodonFrame(acf);
-    }
-
-    /*
-     * If at least one mapping was possible but none was done, then the
-     * alignments are already as mapped as they can be.
-     */
-    if (mappingPossible && !mappingPerformed)
-    {
-      return MappingResult.AlreadyMapped;
-    }
-    else
-    {
-      return mappingPerformed ? MappingResult.Mapped
-              : MappingResult.NotMapped;
+      if (proteinMapped)
+      {
+        proteinAlignment.addCodonFrame(acf);
+      }
     }
+    return mappingPerformed;
   }
 
   /**
@@ -296,7 +342,8 @@ public class AlignmentUtils
   /**
    * Build a mapping (if possible) of a protein to a cDNA sequence. The cDNA
    * must be three times the length of the protein, possibly after ignoring
-   * start and/or stop codons. Returns null if no mapping is determined.
+   * start and/or stop codons, and must translate to the protein. Returns null
+   * if no mapping is determined.
    * 
    * @param proteinSeqs
    * @param cdnaSeq
@@ -305,30 +352,42 @@ public class AlignmentUtils
   public static MapList mapProteinToCdna(SequenceI proteinSeq,
           SequenceI cdnaSeq)
   {
-    String aaSeqString = proteinSeq.getDatasetSequence()
-            .getSequenceAsString();
-    String cdnaSeqString = cdnaSeq.getDatasetSequence()
-            .getSequenceAsString();
-    if (aaSeqString == null || cdnaSeqString == null)
+    /*
+     * Here we handle either dataset sequence set (desktop) or absent (applet).
+     * Use only the char[] form of the sequence to avoid creating possibly large
+     * String objects.
+     */
+    final SequenceI proteinDataset = proteinSeq.getDatasetSequence();
+    char[] aaSeqChars = proteinDataset != null ? proteinDataset
+            .getSequence() : proteinSeq.getSequence();
+    final SequenceI cdnaDataset = cdnaSeq.getDatasetSequence();
+    char[] cdnaSeqChars = cdnaDataset != null ? cdnaDataset.getSequence()
+            : cdnaSeq.getSequence();
+    if (aaSeqChars == null || cdnaSeqChars == null)
     {
       return null;
     }
 
-    final int mappedLength = 3 * aaSeqString.length();
-    int cdnaLength = cdnaSeqString.length();
+    /*
+     * cdnaStart/End, proteinStartEnd are base 1 (for dataset sequence mapping)
+     */
+    final int mappedLength = 3 * aaSeqChars.length;
+    int cdnaLength = cdnaSeqChars.length;
     int cdnaStart = 1;
     int cdnaEnd = cdnaLength;
     final int proteinStart = 1;
-    final int proteinEnd = aaSeqString.length();
+    final int proteinEnd = aaSeqChars.length;
 
     /*
      * If lengths don't match, try ignoring stop codon.
      */
-    if (cdnaLength != mappedLength)
+    if (cdnaLength != mappedLength && cdnaLength > 2)
     {
-      for (Object stop : ResidueProperties.STOP)
+      String lastCodon = String.valueOf(cdnaSeqChars, cdnaLength - 3, 3)
+              .toUpperCase();
+      for (String stop : ResidueProperties.STOP)
       {
-        if (cdnaSeqString.toUpperCase().endsWith((String) stop))
+        if (lastCodon.equals(stop))
         {
           cdnaEnd -= 3;
           cdnaLength -= 3;
@@ -341,24 +400,68 @@ public class AlignmentUtils
      * If lengths still don't match, try ignoring start codon.
      */
     if (cdnaLength != mappedLength
-            && cdnaSeqString.toUpperCase().startsWith(
+            && cdnaLength > 2
+            && String.valueOf(cdnaSeqChars, 0, 3).toUpperCase()
+                    .equals(
                     ResidueProperties.START))
     {
       cdnaStart += 3;
       cdnaLength -= 3;
     }
 
-    if (cdnaLength == mappedLength)
+    if (cdnaLength != mappedLength)
     {
-      MapList map = new MapList(new int[]
-      { cdnaStart, cdnaEnd }, new int[]
-      { proteinStart, proteinEnd }, 3, 1);
-      return map;
+      return null;
     }
-    else
+    if (!translatesAs(cdnaSeqChars, cdnaStart - 1, aaSeqChars))
     {
       return null;
     }
+    MapList map = new MapList(new int[]
+    { cdnaStart, cdnaEnd }, new int[]
+    { proteinStart, proteinEnd }, 3, 1);
+    return map;
+  }
+
+  /**
+   * Test whether the given cdna sequence, starting at the given offset,
+   * translates to the given amino acid sequence, using the standard translation
+   * table. Designed to fail fast i.e. as soon as a mismatch position is found.
+   * 
+   * @param cdnaSeqChars
+   * @param cdnaStart
+   * @param aaSeqChars
+   * @return
+   */
+  protected static boolean translatesAs(char[] cdnaSeqChars, int cdnaStart,
+          char[] aaSeqChars)
+  {
+    int aaResidue = 0;
+    for (int i = cdnaStart; i < cdnaSeqChars.length - 2
+            && aaResidue < aaSeqChars.length; i += 3, aaResidue++)
+    {
+      String codon = String.valueOf(cdnaSeqChars, i, 3);
+      final String translated = ResidueProperties.codonTranslate(
+              codon);
+      /*
+       * ? allow X in protein to match untranslatable in dna ?
+       */
+      final char aaRes = aaSeqChars[aaResidue];
+      if ((translated == null || "STOP".equals(translated)) && aaRes == 'X')
+      {
+        continue;
+      }
+      if (translated == null
+              || !(aaRes == translated.charAt(0)))
+      {
+        // debug
+        // System.out.println(("Mismatch at " + i + "/" + aaResidue + ": "
+        // + codon + "(" + translated + ") != " + aaRes));
+        return false;
+      }
+    }
+    // fail if we didn't match all of the aa sequence
+    return (aaResidue == aaSeqChars.length);
   }
 
   /**
@@ -385,7 +488,7 @@ public class AlignmentUtils
     // TODO there may be one AlignedCodonFrame per dataset sequence, or one with
     // all mappings. Would it help to constrain this?
     List<AlignedCodonFrame> mappings = al.getCodonFrame(seq);
-    if (mappings == null)
+    if (mappings == null || mappings.isEmpty())
     {
       return false;
     }
@@ -626,4 +729,487 @@ public class AlignmentUtils
     }
     return gapsToAdd;
   }
+
+  /**
+   * Returns a list of sequences mapped from the given sequences and aligned
+   * (gapped) in the same way. For example, the cDNA for aligned protein, where
+   * a single gap in protein generates three gaps in cDNA.
+   * 
+   * @param sequences
+   * @param gapCharacter
+   * @param mappings
+   * @return
+   */
+  public static List<SequenceI> getAlignedTranslation(
+          List<SequenceI> sequences, char gapCharacter,
+          Set<AlignedCodonFrame> mappings)
+  {
+    List<SequenceI> alignedSeqs = new ArrayList<SequenceI>();
+
+    for (SequenceI seq : sequences)
+    {
+      List<SequenceI> mapped = getAlignedTranslation(seq, gapCharacter,
+              mappings);
+      alignedSeqs.addAll(mapped);
+    }
+    return alignedSeqs;
+  }
+
+  /**
+   * Returns sequences aligned 'like' the source sequence, as mapped by the
+   * given mappings. Normally we expect zero or one 'mapped' sequences, but this
+   * will support 1-to-many as well.
+   * 
+   * @param seq
+   * @param gapCharacter
+   * @param mappings
+   * @return
+   */
+  protected static List<SequenceI> getAlignedTranslation(SequenceI seq,
+          char gapCharacter, Set<AlignedCodonFrame> mappings)
+  {
+    List<SequenceI> result = new ArrayList<SequenceI>();
+    for (AlignedCodonFrame mapping : mappings)
+    {
+      if (mapping.involvesSequence(seq))
+      {
+        SequenceI mapped = getAlignedTranslation(seq, gapCharacter, mapping);
+        if (mapped != null)
+        {
+          result.add(mapped);
+        }
+      }
+    }
+    return result;
+  }
+
+  /**
+   * Returns the translation of 'seq' (as held in the mapping) with
+   * corresponding alignment (gaps).
+   * 
+   * @param seq
+   * @param gapCharacter
+   * @param mapping
+   * @return
+   */
+  protected static SequenceI getAlignedTranslation(SequenceI seq,
+          char gapCharacter, AlignedCodonFrame mapping)
+  {
+    String gap = String.valueOf(gapCharacter);
+    boolean toDna = false;
+    int fromRatio = 1;
+    SequenceI mapTo = mapping.getDnaForAaSeq(seq);
+    if (mapTo != null)
+    {
+      // mapping is from protein to nucleotide
+      toDna = true;
+      // should ideally get gap count ratio from mapping
+      gap = String.valueOf(new char[]
+      { gapCharacter, gapCharacter, gapCharacter });
+    }
+    else
+    {
+      // mapping is from nucleotide to protein
+      mapTo = mapping.getAaForDnaSeq(seq);
+      fromRatio = 3;
+    }
+    StringBuilder newseq = new StringBuilder(seq.getLength()
+            * (toDna ? 3 : 1));
+
+    int residueNo = 0; // in seq, base 1
+    int[] phrase = new int[fromRatio];
+    int phraseOffset = 0;
+    int gapWidth = 0;
+    boolean first = true;
+    final Sequence alignedSeq = new Sequence("", "");
+
+    for (char c : seq.getSequence())
+    {
+      if (c == gapCharacter)
+      {
+        gapWidth++;
+        if (gapWidth >= fromRatio)
+        {
+          newseq.append(gap);
+          gapWidth = 0;
+        }
+      }
+      else
+      {
+        phrase[phraseOffset++] = residueNo + 1;
+        if (phraseOffset == fromRatio)
+        {
+          /*
+           * Have read a whole codon (or protein residue), now translate: map
+           * source phrase to positions in target sequence add characters at
+           * these positions to newseq Note mapping positions are base 1, our
+           * sequence positions base 0.
+           */
+          SearchResults sr = new SearchResults();
+          for (int pos : phrase)
+          {
+            mapping.markMappedRegion(seq, pos, sr);
+          }
+          newseq.append(sr.toString());
+          if (first)
+          {
+            first = false;
+            // Hack: Copy sequence dataset, name and description from
+            // SearchResults.match[0].sequence
+            // TODO? carry over sequence names from original 'complement'
+            // alignment
+            SequenceI mappedTo = sr.getResultSequence(0);
+            alignedSeq.setName(mappedTo.getName());
+            alignedSeq.setDescription(mappedTo.getDescription());
+            alignedSeq.setDatasetSequence(mappedTo);
+          }
+          phraseOffset = 0;
+        }
+        residueNo++;
+      }
+    }
+    alignedSeq.setSequence(newseq.toString());
+    return alignedSeq;
+  }
+
+  /**
+   * Realigns the given protein to match the alignment of the dna, using codon
+   * mappings to translate aligned codon positions to protein residues.
+   * 
+   * @param protein
+   *          the alignment whose sequences are realigned by this method
+   * @param dna
+   *          the dna alignment whose alignment we are 'copying'
+   * @return the number of sequences that were realigned
+   */
+  public static int alignProteinAsDna(AlignmentI protein, AlignmentI dna)
+  {
+    Set<AlignedCodonFrame> mappings = protein.getCodonFrames();
+
+    /*
+     * Map will hold, for each aligned codon position e.g. [3, 5, 6], a map of
+     * {dnaSequence, {proteinSequence, codonProduct}} at that position. The
+     * comparator keeps the codon positions ordered.
+     */
+    Map<AlignedCodon, Map<SequenceI, String>> alignedCodons = new TreeMap<AlignedCodon, Map<SequenceI, String>>(
+            new CodonComparator());
+    for (SequenceI dnaSeq : dna.getSequences())
+    {
+      for (AlignedCodonFrame mapping : mappings)
+      {
+        Mapping seqMap = mapping.getMappingForSequence(dnaSeq);
+        SequenceI prot = mapping.findAlignedSequence(
+                dnaSeq.getDatasetSequence(), protein);
+        if (prot != null)
+        {
+          addCodonPositions(dnaSeq, prot, protein.getGapCharacter(),
+                  seqMap, alignedCodons);
+        }
+      }
+    }
+    return alignProteinAs(protein, alignedCodons);
+  }
+
+  /**
+   * Update the aligned protein sequences to match the codon alignments given in
+   * the map.
+   * 
+   * @param protein
+   * @param alignedCodons
+   *          an ordered map of codon positions (columns), with sequence/peptide
+   *          values present in each column
+   * @return
+   */
+  protected static int alignProteinAs(AlignmentI protein,
+          Map<AlignedCodon, Map<SequenceI, String>> alignedCodons)
+  {
+    /*
+     * Prefill aligned sequences with gaps before inserting aligned protein
+     * residues.
+     */
+    int alignedWidth = alignedCodons.size();
+    char[] gaps = new char[alignedWidth];
+    Arrays.fill(gaps, protein.getGapCharacter());
+    String allGaps = String.valueOf(gaps);
+    for (SequenceI seq : protein.getSequences())
+    {
+      seq.setSequence(allGaps);
+    }
+
+    int column = 0;
+    for (AlignedCodon codon : alignedCodons.keySet())
+    {
+      final Map<SequenceI, String> columnResidues = alignedCodons.get(codon);
+      for (Entry<SequenceI, String> entry : columnResidues
+              .entrySet())
+      {
+        // place translated codon at its column position in sequence
+        entry.getKey().getSequence()[column] = entry.getValue().charAt(0);
+      }
+      column++;
+    }
+    return 0;
+  }
+
+  /**
+   * Populate the map of aligned codons by traversing the given sequence
+   * mapping, locating the aligned positions of mapped codons, and adding those
+   * positions and their translation products to the map.
+   * 
+   * @param dna
+   *          the aligned sequence we are mapping from
+   * @param protein
+   *          the sequence to be aligned to the codons
+   * @param gapChar
+   *          the gap character in the dna sequence
+   * @param seqMap
+   *          a mapping to a sequence translation
+   * @param alignedCodons
+   *          the map we are building up
+   */
+  static void addCodonPositions(SequenceI dna, SequenceI protein,
+          char gapChar,
+          Mapping seqMap,
+          Map<AlignedCodon, Map<SequenceI, String>> alignedCodons)
+  {
+    Iterator<AlignedCodon> codons = seqMap.getCodonIterator(dna, gapChar);
+    while (codons.hasNext())
+    {
+      AlignedCodon codon = codons.next();
+      Map<SequenceI, String> seqProduct = alignedCodons.get(codon);
+      if (seqProduct == null)
+      {
+        seqProduct = new HashMap<SequenceI, String>();
+        alignedCodons.put(codon, seqProduct);
+      }
+      seqProduct.put(protein, codon.product);
+    }
+  }
+
+  /**
+   * Returns true if a cDNA/Protein mapping either exists, or could be made,
+   * between at least one pair of sequences in the two alignments. Currently,
+   * the logic is:
+   * <ul>
+   * <li>One alignment must be nucleotide, and the other protein</li>
+   * <li>At least one pair of sequences must be already mapped, or mappable</li>
+   * <li>Mappable means the nucleotide translation matches the protein sequence</li>
+   * <li>The translation may ignore start and stop codons if present in the
+   * nucleotide</li>
+   * </ul>
+   * 
+   * @param al1
+   * @param al2
+   * @return
+   */
+  public static boolean isMappable(AlignmentI al1, AlignmentI al2)
+  {
+    /*
+     * Require one nucleotide and one protein
+     */
+    if (al1.isNucleotide() == al2.isNucleotide())
+    {
+      return false;
+    }
+    AlignmentI dna = al1.isNucleotide() ? al1 : al2;
+    AlignmentI protein = dna == al1 ? al2 : al1;
+    Set<AlignedCodonFrame> mappings = protein.getCodonFrames();
+    for (SequenceI dnaSeq : dna.getSequences())
+    {
+      for (SequenceI proteinSeq : protein.getSequences())
+      {
+        if (isMappable(dnaSeq, proteinSeq, mappings))
+        {
+          return true;
+        }
+      }
+    }
+    return false;
+  }
+
+  /**
+   * Returns true if the dna sequence is mapped, or could be mapped, to the
+   * protein sequence.
+   * 
+   * @param dnaSeq
+   * @param proteinSeq
+   * @param mappings
+   * @return
+   */
+  public static boolean isMappable(SequenceI dnaSeq, SequenceI proteinSeq,
+          Set<AlignedCodonFrame> mappings)
+  {
+    SequenceI dnaDs = dnaSeq.getDatasetSequence() == null ? dnaSeq : dnaSeq.getDatasetSequence();
+    SequenceI proteinDs = proteinSeq.getDatasetSequence() == null ? proteinSeq
+            : proteinSeq.getDatasetSequence();
+    
+    /*
+     * Already mapped?
+     */
+    for (AlignedCodonFrame mapping : mappings) {
+      if ( proteinDs == mapping.getAaForDnaSeq(dnaDs)) {
+        return true;
+      }
+    }
+
+    /*
+     * Just try to make a mapping (it is not yet stored), test whether
+     * successful.
+     */
+    return mapProteinToCdna(proteinDs, dnaDs) != null;
+  }
+
+  /**
+   * Finds any reference annotations associated with the sequences in
+   * sequenceScope, that are not already added to the alignment, and adds them
+   * to the 'candidates' map. Also populates a lookup table of annotation
+   * labels, keyed by calcId, for use in constructing tooltips or the like.
+   * 
+   * @param sequenceScope
+   *          the sequences to scan for reference annotations
+   * @param labelForCalcId
+   *          (optional) map to populate with label for calcId
+   * @param candidates
+   *          map to populate with annotations for sequence
+   * @param al
+   *          the alignment to check for presence of annotations
+   */
+  public static void findAddableReferenceAnnotations(
+          List<SequenceI> sequenceScope, Map<String, String> labelForCalcId,
+          final Map<SequenceI, List<AlignmentAnnotation>> candidates,
+          AlignmentI al)
+  {
+    if (sequenceScope == null)
+    {
+      return;
+    }
+  
+    /*
+     * For each sequence in scope, make a list of any annotations on the
+     * underlying dataset sequence which are not already on the alignment.
+     * 
+     * Add to a map of { alignmentSequence, <List of annotations to add> }
+     */
+    for (SequenceI seq : sequenceScope)
+    {
+      SequenceI dataset = seq.getDatasetSequence();
+      if (dataset == null)
+      {
+        continue;
+      }
+      AlignmentAnnotation[] datasetAnnotations = dataset.getAnnotation();
+      if (datasetAnnotations == null)
+      {
+        continue;
+      }
+      final List<AlignmentAnnotation> result = new ArrayList<AlignmentAnnotation>();
+      for (AlignmentAnnotation dsann : datasetAnnotations)
+      {
+        /*
+         * Find matching annotations on the alignment. If none is found, then
+         * add this annotation to the list of 'addable' annotations for this
+         * sequence.
+         */
+        final Iterable<AlignmentAnnotation> matchedAlignmentAnnotations = al
+                .findAnnotations(seq, dsann.getCalcId(),
+                        dsann.label);
+        if (!matchedAlignmentAnnotations.iterator().hasNext())
+        {
+          result.add(dsann);
+          if (labelForCalcId != null)
+          {
+            labelForCalcId.put(dsann.getCalcId(), dsann.label);
+          }
+        }
+      }
+      /*
+       * Save any addable annotations for this sequence
+       */
+      if (!result.isEmpty())
+      {
+        candidates.put(seq, result);
+      }
+    }
+  }
+
+  /**
+   * Adds annotations to the top of the alignment annotations, in the same order
+   * as their related sequences.
+   * 
+   * @param annotations
+   *          the annotations to add
+   * @param alignment
+   *          the alignment to add them to
+   * @param selectionGroup
+   *          current selection group (or null if none)
+   */
+  public static void addReferenceAnnotations(
+          Map<SequenceI, List<AlignmentAnnotation>> annotations,
+          final AlignmentI alignment, final SequenceGroup selectionGroup)
+  {
+    for (SequenceI seq : annotations.keySet())
+    {
+      for (AlignmentAnnotation ann : annotations.get(seq))
+      {
+        AlignmentAnnotation copyAnn = new AlignmentAnnotation(ann);
+        int startRes = 0;
+        int endRes = ann.annotations.length;
+        if (selectionGroup != null)
+        {
+          startRes = selectionGroup.getStartRes();
+          endRes = selectionGroup.getEndRes();
+        }
+        copyAnn.restrict(startRes, endRes);
+  
+        /*
+         * Add to the sequence (sets copyAnn.datasetSequence), unless the
+         * original annotation is already on the sequence.
+         */
+        if (!seq.hasAnnotation(ann))
+        {
+          seq.addAlignmentAnnotation(copyAnn);
+        }
+        // adjust for gaps
+        copyAnn.adjustForAlignment();
+        // add to the alignment and set visible
+        alignment.addAnnotation(copyAnn);
+        copyAnn.visible = true;
+      }
+    }
+  }
+
+  /**
+   * Set visibility of alignment annotations of specified types (labels), for
+   * specified sequences. This supports controls like
+   * "Show all secondary structure", "Hide all Temp factor", etc.
+   * 
+   * @al the alignment to scan for annotations
+   * @param types
+   *          the types (labels) of annotations to be updated
+   * @param forSequences
+   *          if not null, only annotations linked to one of these sequences are
+   *          in scope for update; if null, acts on all sequence annotations
+   * @param anyType
+   *          if this flag is true, 'types' is ignored (label not checked)
+   * @param doShow
+   *          if true, set visibility on, else set off
+   */
+  public static void showOrHideSequenceAnnotations(AlignmentI al,
+          Collection<String> types, List<SequenceI> forSequences,
+          boolean anyType, boolean doShow)
+  {
+    for (AlignmentAnnotation aa : al
+            .getAlignmentAnnotation())
+    {
+      if (anyType || types.contains(aa.label))
+      {
+        if ((aa.sequenceRef != null)
+                && (forSequences == null || forSequences
+                        .contains(aa.sequenceRef)))
+        {
+          aa.visible = doShow;
+        }
+      }
+    }
+  }
 }