JAL-1421 typed ResidueProperties.propHash; JAL-2176 removed propHash
[jalview.git] / src / jalview / analysis / Conservation.java
index 4eb1218..19a6514 100755 (executable)
 /*
- * Jalview - A Sequence Alignment Editor and Viewer
- * Copyright (C) 2007 AM Waterhouse, J Procter, G Barton, M Clamp, S Searle
- *
- * This program is free software; you can redistribute it and/or
- * modify it under the terms of the GNU General Public License
- * as published by the Free Software Foundation; either version 2
+ * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
+ * Copyright (C) $$Year-Rel$$ The Jalview Authors
+ * 
+ * This file is part of Jalview.
+ * 
+ * Jalview is free software: you can redistribute it and/or
+ * modify it under the terms of the GNU General Public License 
+ * as published by the Free Software Foundation, either version 3
  * of the License, or (at your option) any later version.
- *
- * This program is distributed in the hope that it will be useful,
- * but WITHOUT ANY WARRANTY; without even the implied warranty of
- * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
- * GNU General Public License for more details.
- *
+ *  
+ * Jalview is distributed in the hope that it will be useful, but 
+ * WITHOUT ANY WARRANTY; without even the implied warranty 
+ * of MERCHANTABILITY or FITNESS FOR A PARTICULAR 
+ * PURPOSE.  See the GNU General Public License for more details.
+ * 
  * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA
+ * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
+ * The Jalview Authors are detailed in the 'AUTHORS' file.
  */
 package jalview.analysis;
 
-import java.util.*;
+import jalview.datamodel.AlignmentAnnotation;
+import jalview.datamodel.Annotation;
+import jalview.datamodel.Sequence;
+import jalview.datamodel.SequenceI;
+import jalview.schemes.ResidueProperties;
 
-import jalview.datamodel.*;
+import java.awt.Color;
+import java.util.Hashtable;
+import java.util.List;
+import java.util.Map;
+import java.util.Vector;
 
 /**
  * Calculates conservation values for a given set of sequences
- *
+ * 
  * @author $author$
  * @version $Revision$
  */
 public class Conservation
 {
   SequenceI[] sequences;
+
   int start;
+
   int end;
-  Vector seqNums; // vector of int vectors where first is sequence checksum
-  int maxLength = 0; //  used by quality calcs
+
+  Vector<int[]> seqNums; // vector of int vectors where first is sequence
+                         // checksum
+
+  int maxLength = 0; // used by quality calcs
+
   boolean seqNumsChanged = false; // updated after any change via calcSeqNum;
-  Hashtable[] total;
+
+  Map<String, Integer>[] total;
+
+  boolean canonicaliseAa = true; // if true then conservation calculation will
+
+  // map all symbols to canonical aa numbering
+  // rather than consider conservation of that
+  // symbol
 
   /** Stores calculated quality values */
-  public Vector quality;
+  private Vector<Double> quality;
+
+  /** Stores maximum and minimum values of quality values */
+  private double[] qualityRange = new double[2];
+
+  private Sequence consSequence;
+
+  private int threshold;
+
+  private String name = "";
 
-  /** Stores maximum and minimum values of quality values  */
-  public Double[] qualityRange = new Double[2];
-  String consString = "";
-  Sequence consSequence;
-  Hashtable propHash;
-  int threshold;
-  String name = "";
-  int[][] cons2;
+  private int[][] cons2;
+
+  private String[] consSymbs;
 
   /**
    * Creates a new Conservation object.
-   *
-   * @param name Name of conservation
-   * @param propHash DOCUMENT ME!
-   * @param threshold to count the residues in residueHash(). commonly used value is 3
-   * @param sequences sequences to be used in calculation
-   * @param start start residue position
-   * @param end end residue position
+   * 
+   * @param name
+   *          Name of conservation
+   * @param threshold
+   *          to count the residues in residueHash(). commonly used value is 3
+   * @param sequences
+   *          sequences to be used in calculation
+   * @param start
+   *          start residue position
+   * @param end
+   *          end residue position
    */
-  public Conservation(String name, Hashtable propHash, int threshold,
-                      Vector sequences, int start, int end)
+  public Conservation(String name, int threshold,
+          List<SequenceI> sequences, int start, int end)
   {
-
     this.name = name;
-    this.propHash = propHash;
     this.threshold = threshold;
     this.start = start;
     this.end = end;
 
-    maxLength = end - start + 1; // default width includes bounds of calculation
+    maxLength = end - start + 1; // default width includes bounds of
+    // calculation
 
     int s, sSize = sequences.size();
     SequenceI[] sarray = new SequenceI[sSize];
     this.sequences = sarray;
-
-    for (s = 0; s < sSize; s++)
+    try
     {
-      sarray[s] = (SequenceI) sequences.elementAt(s);
-      if (sarray[s].getLength() > maxLength)
+      for (s = 0; s < sSize; s++)
       {
-        maxLength = sarray[s].getLength();
+        sarray[s] = sequences.get(s);
+        if (sarray[s].getLength() > maxLength)
+        {
+          maxLength = sarray[s].getLength();
+        }
       }
+    } catch (ArrayIndexOutOfBoundsException ex)
+    {
+      // bail - another thread has modified the sequence array, so the current
+      // calculation is probably invalid.
+      this.sequences = new SequenceI[0];
+      maxLength = 0;
     }
   }
 
   /**
-   * DOCUMENT ME!
-   *
-   * @param i DOCUMENT ME!
+   * Translate sequence i into a numerical representation and store it in the
+   * i'th position of the seqNums array.
+   * 
+   * @param i
    */
   private void calcSeqNum(int i)
   {
@@ -98,7 +137,7 @@ public class Conservation
 
     int sSize = sequences.length;
 
-    if ( (i > -1) && (i < sSize))
+    if ((i > -1) && (i < sSize))
     {
       sq = sequences[i].getSequenceAsString();
 
@@ -107,7 +146,7 @@ public class Conservation
         seqNums.addElement(new int[sq.length() + 1]);
       }
 
-      if (sq.hashCode() != ( (int[]) seqNums.elementAt(i))[0])
+      if (sq.hashCode() != seqNums.elementAt(i)[0])
       {
         int j;
         int len;
@@ -119,12 +158,14 @@ public class Conservation
           maxLength = len;
         }
 
-        sqnum = new int[len + 1]; // better to always make a new array - sequence can change its length
+        sqnum = new int[len + 1]; // better to always make a new array -
+        // sequence can change its length
         sqnum[0] = sq.hashCode();
 
         for (j = 1; j <= len; j++)
         {
-          sqnum[j] = jalview.schemes.ResidueProperties.aaIndex[sq.charAt(j - 1)];
+          sqnum[j] = jalview.schemes.ResidueProperties.aaIndex[sq
+                  .charAt(j - 1)];
         }
 
         seqNums.setElementAt(sqnum, i);
@@ -137,8 +178,8 @@ public class Conservation
     else
     {
       // JBPNote INFO level debug
-      System.err.println(
-          "ERROR: calcSeqNum called with out of range sequence index for Alignment\n");
+      System.err
+              .println("ERROR: calcSeqNum called with out of range sequence index for Alignment\n");
     }
   }
 
@@ -147,12 +188,9 @@ public class Conservation
    */
   public void calculate()
   {
-    Hashtable resultHash, ht;
     int thresh, j, jSize = sequences.length;
     int[] values; // Replaces residueHash
-    String type, res = null;
     char c;
-    Enumeration enumeration2;
 
     total = new Hashtable[maxLength];
 
@@ -166,17 +204,30 @@ public class Conservation
         {
           c = sequences[j].getCharAt(i);
 
-          // No need to check if its a '-'
-          if (c == '.' || c == ' ')
-          {
-            c = '-';
+          if (canonicaliseAa)
+          { // lookup the base aa code symbol
+            c = (char) ResidueProperties.aaIndex[sequences[j].getCharAt(i)];
+            if (c > 20)
+            {
+              c = '-';
+            }
+            else
+            {
+              // recover canonical aa symbol
+              c = ResidueProperties.aa[c].charAt(0);
+            }
           }
-
-          if ('a' <= c && c <= 'z')
+          else
           {
-            c -= (32); // 32 = 'a' - 'A'
-          }
+            // original behaviour - operate on ascii symbols directly
+            // No need to check if its a '-'
+            if (c == '.' || c == ' ')
+            {
+              c = '-';
+            }
 
+            c = toUpperCase(c);
+          }
           values[c]++;
         }
         else
@@ -185,27 +236,25 @@ public class Conservation
         }
       }
 
-      //What is the count threshold to count the residues in residueHash()
+      // What is the count threshold to count the residues in residueHash()
       thresh = (threshold * (jSize)) / 100;
 
-      //loop over all the found residues
-      resultHash = new Hashtable();
+      // loop over all the found residues
+      Hashtable<String, Integer> resultHash = new Hashtable<String, Integer>();
       for (char v = '-'; v < 'Z'; v++)
       {
 
         if (values[v] > thresh)
         {
-          res = String.valueOf(v);
-
-          //Now loop over the properties
-          enumeration2 = propHash.keys();
+          String res = String.valueOf(v);
 
-          while (enumeration2.hasMoreElements())
+          // Now loop over the properties
+          for (String type : ResidueProperties.propHash.keySet())
           {
-            type = (String) enumeration2.nextElement();
-            ht = (Hashtable) propHash.get(type);
+            Hashtable<String, Integer> ht = (Hashtable<String, Integer>) ResidueProperties.propHash
+                    .get(type);
 
-            //Have we ticked this before?
+            // Have we ticked this before?
             if (!resultHash.containsKey(type))
             {
               if (ht.containsKey(res))
@@ -217,22 +266,25 @@ public class Conservation
                 resultHash.put(type, ht.get("-"));
               }
             }
-            else if ( ( (Integer) resultHash.get(type)).equals(
-                (Integer) ht.get(res)) == false)
+            else if (!resultHash.get(type).equals(ht.get(res)))
             {
-              resultHash.put(type, new Integer( -1));
+              resultHash.put(type, new Integer(-1));
             }
           }
         }
       }
 
-      total[i - start] = resultHash;
+      if (total.length > 0)
+      {
+        total[i - start] = resultHash;
+      }
     }
   }
 
-  /***
-   * countConsNGaps
-   * returns gap count in int[0], and conserved residue count in int[1]
+  /*****************************************************************************
+   * count conservation for the j'th column of the alignment
+   * 
+   * @return { gap count, conserved residue count}
    */
   public int[] countConsNGaps(int j)
   {
@@ -254,12 +306,13 @@ public class Conservation
 
       c = sequences[i].getCharAt(j); // gaps do not have upper/lower case
 
-      if (jalview.util.Comparison.isGap( (c)))
+      if (jalview.util.Comparison.isGap((c)))
       {
         count++;
       }
       else
       {
+        c = toUpperCase(c);
         nres++;
 
         if (nres == 1)
@@ -281,61 +334,78 @@ public class Conservation
   }
 
   /**
+   * Returns the upper-cased character if between 'a' and 'z', else the
+   * unchanged value
+   * 
+   * @param c
+   * @return
+   */
+  char toUpperCase(char c)
+  {
+    if ('a' <= c && c <= 'z')
+    {
+      c -= (32); // 32 = 'a' - 'A'
+    }
+    return c;
+  }
+
+  /**
    * Calculates the conservation sequence
-   *
-   * @param consflag if true, poitiveve conservation; false calculates negative conservation
-   * @param percentageGaps commonly used value is 25
+   * 
+   * @param consflag
+   *          if true, positive conservation; false calculates negative
+   *          conservation
+   * @param percentageGaps
+   *          commonly used value is 25
    */
   public void verdict(boolean consflag, float percentageGaps)
   {
     StringBuffer consString = new StringBuffer();
-    String type;
-    Integer result;
-    int[] gapcons;
-    int totGaps, count;
-    float pgaps;
-    Hashtable resultHash;
-    Enumeration enumeration;
-
-    //NOTE THIS SHOULD CHECK IF THE CONSEQUENCE ALREADY
-    //EXISTS AND NOT OVERWRITE WITH '-', BUT THIS CASE
-    //DOES NOT EXIST IN JALVIEW 2.1.2
+
+    // NOTE THIS SHOULD CHECK IF THE CONSEQUENCE ALREADY
+    // EXISTS AND NOT OVERWRITE WITH '-', BUT THIS CASE
+    // DOES NOT EXIST IN JALVIEW 2.1.2
     for (int i = 0; i < start; i++)
     {
       consString.append('-');
     }
-
+    consSymbs = new String[end - start + 1];
     for (int i = start; i <= end; i++)
     {
-      gapcons = countConsNGaps(i);
-      totGaps = gapcons[1];
-      pgaps = ( (float) totGaps * 100) / (float) sequences.length;
+      int[] gapcons = countConsNGaps(i);
+      int totGaps = gapcons[1];
+      float pgaps = ((float) totGaps * 100) / sequences.length;
+      consSymbs[i - start] = new String();
 
       if (percentageGaps > pgaps)
       {
-        resultHash = total[i - start];
-
-        //Now find the verdict
-        count = 0;
-        enumeration = resultHash.keys();
-
-        while (enumeration.hasMoreElements())
+        Map<String, Integer> resultHash = total[i - start];
+        // Now find the verdict
+        int count = 0;
+        for (String type : resultHash.keySet())
         {
-          type = (String) enumeration.nextElement();
-          result = (Integer) resultHash.get(type);
-
-          //Do we want to count +ve conservation or +ve and -ve cons.?
+          int result = resultHash.get(type).intValue();
+          // Do we want to count +ve conservation or +ve and -ve cons.?
           if (consflag)
           {
-            if (result.intValue() == 1)
+            if (result == 1)
             {
+              consSymbs[i - start] = type + " " + consSymbs[i - start];
               count++;
             }
           }
           else
           {
-            if (result.intValue() != -1)
+            if (result != -1)
             {
+              if (result == 0)
+              {
+                consSymbs[i - start] = consSymbs[i - start] + " !" + type;
+              }
+              else
+              {
+                consSymbs[i - start] = type + " " + consSymbs[i - start];
+              }
               count++;
             }
           }
@@ -347,7 +417,7 @@ public class Conservation
         }
         else
         {
-          consString.append( (gapcons[0] == 1) ? "*" : "+");
+          consString.append((gapcons[0] == 1) ? "*" : "+");
         }
       }
       else
@@ -360,8 +430,8 @@ public class Conservation
   }
 
   /**
-   *
-   *
+   * 
+   * 
    * @return Conservation sequence
    */
   public Sequence getConsSequence()
@@ -380,16 +450,16 @@ public class Conservation
    */
   private void percentIdentity2()
   {
-    seqNums = new Vector();
+    seqNums = new Vector<int[]>();
     // calcSeqNum(s);
     int i = 0, iSize = sequences.length;
-    //Do we need to calculate this again?
+    // Do we need to calculate this again?
     for (i = 0; i < iSize; i++)
     {
       calcSeqNum(i);
     }
 
-    if ( (cons2 == null) || seqNumsChanged)
+    if ((cons2 == null) || seqNumsChanged)
     {
       cons2 = new int[maxLength][24];
 
@@ -407,7 +477,7 @@ public class Conservation
 
       while (j < sequences.length)
       {
-        sqnum = (int[]) seqNums.elementAt(j);
+        sqnum = seqNums.elementAt(j);
 
         for (i = 1; i < sqnum.length; i++)
         {
@@ -424,39 +494,34 @@ public class Conservation
 
       // unnecessary ?
 
-      /* for (int i=start; i <= end; i++) {
-           int max = -1000;
-                   int maxi = -1;
-                   int maxj = -1;
-
-                   for (int j=0;j<24;j++) {
-        if (cons2[i][j] > max) {
-        max = cons2[i][j];
-        maxi = i;
-        maxj = j;
-                   }
-
-                   }
-                   } */
+      /*
+       * for (int i=start; i <= end; i++) { int max = -1000; int maxi = -1; int
+       * maxj = -1;
+       * 
+       * for (int j=0;j<24;j++) { if (cons2[i][j] > max) { max = cons2[i][j];
+       * maxi = i; maxj = j; } } }
+       */
     }
   }
 
   /**
    * Calculates the quality of the set of sequences
-   *
-   * @param start Start residue
-   * @param end End residue
+   * 
+   * @param startRes
+   *          Start residue
+   * @param endRes
+   *          End residue
    */
-  public void findQuality(int start, int end)
+  public void findQuality(int startRes, int endRes)
   {
-    quality = new Vector();
+    quality = new Vector<Double>();
 
     double max = -10000;
-    int[][] BLOSUM62 = jalview.schemes.ResidueProperties.getBLOSUM62();
+    int[][] BLOSUM62 = ResidueProperties.getBLOSUM62();
 
-    //Loop over columns // JBPNote Profiling info
-    //long ts = System.currentTimeMillis();
-    //long te = System.currentTimeMillis();
+    // Loop over columns // JBPNote Profiling info
+    // long ts = System.currentTimeMillis();
+    // long te = System.currentTimeMillis();
     percentIdentity2();
 
     int size = seqNums.size();
@@ -467,10 +532,10 @@ public class Conservation
 
     for (l = 0; l < size; l++)
     {
-      lengths[l] = ( (int[]) seqNums.elementAt(l)).length - 1;
+      lengths[l] = seqNums.elementAt(l).length - 1;
     }
 
-    for (j = start; j <= end; j++)
+    for (j = startRes; j <= endRes; j++)
     {
       bigtot = 0;
 
@@ -483,8 +548,7 @@ public class Conservation
 
         for (i2 = 0; i2 < 24; i2++)
         {
-          x[ii] += ( ( (double) cons2[j][i2] * BLOSUM62[ii][i2]) +
-                    4);
+          x[ii] += (((double) cons2[j][i2] * BLOSUM62[ii][i2]) + 4);
         }
 
         x[ii] /= size;
@@ -495,8 +559,8 @@ public class Conservation
       {
         tot = 0;
         xx = new double[24];
-        seqNum = (j < lengths[k])
-            ? ( (int[]) seqNums.elementAt(k))[j + 1] : 23; // Sequence, or gap at the end
+        seqNum = (j < lengths[k]) ? seqNums.elementAt(k)[j + 1]
+                : 23; // Sequence, or gap at the end
 
         // This is a loop over r
         for (i = 0; i < 23; i++)
@@ -505,8 +569,8 @@ public class Conservation
 
           sr = (double) BLOSUM62[i][seqNum] + 4;
 
-          //Calculate X with another loop over residues
-          //  System.out.println("Xi " + i + " " + x[i] + " " + sr);
+          // Calculate X with another loop over residues
+          // System.out.println("Xi " + i + " " + x[i] + " " + sr);
           xx[i] = x[i] - sr;
 
           tot += (xx[i] * xx[i]);
@@ -521,7 +585,7 @@ public class Conservation
         max = bigtot;
       }
 
-      //      bigtot  = bigtot * (size-cons2[j][23])/size;
+      // bigtot = bigtot * (size-cons2[j][23])/size;
       quality.addElement(new Double(bigtot));
 
       // Need to normalize by gaps
@@ -529,12 +593,12 @@ public class Conservation
 
     double newmax = -10000;
 
-    for (j = start; j <= end; j++)
+    for (j = startRes; j <= endRes; j++)
     {
-      tmp = ( (Double) quality.elementAt(j)).doubleValue();
-      tmp = ( (max - tmp) * (size - cons2[j][23])) / size;
+      tmp = quality.elementAt(j).doubleValue();
+      tmp = ((max - tmp) * (size - cons2[j][23])) / size;
 
-      //     System.out.println(tmp+ " " + j);
+      // System.out.println(tmp+ " " + j);
       quality.setElementAt(new Double(tmp), j);
 
       if (tmp > newmax)
@@ -543,8 +607,147 @@ public class Conservation
       }
     }
 
-    //    System.out.println("Quality " + s);
-    qualityRange[0] = new Double(0);
-    qualityRange[1] = new Double(newmax);
+    // System.out.println("Quality " + s);
+    qualityRange[0] = 0D;
+    qualityRange[1] = newmax;
+  }
+
+  /**
+   * Complete the given consensus and quuality annotation rows. Note: currently
+   * this method will enlarge the given annotation row if it is too small,
+   * otherwise will leave its length unchanged.
+   * 
+   * @param conservation
+   *          conservation annotation row
+   * @param quality2
+   *          (optional - may be null)
+   * @param istart
+   *          first column for conservation
+   * @param alWidth
+   *          extent of conservation
+   */
+  public void completeAnnotations(AlignmentAnnotation conservation,
+          AlignmentAnnotation quality2, int istart, int alWidth)
+  {
+    char[] sequence = getConsSequence().getSequence();
+    float minR;
+    float minG;
+    float minB;
+    float maxR;
+    float maxG;
+    float maxB;
+    minR = 0.3f;
+    minG = 0.0f;
+    minB = 0f;
+    maxR = 1.0f - minR;
+    maxG = 0.9f - minG;
+    maxB = 0f - minB; // scalable range for colouring both Conservation and
+    // Quality
+
+    float min = 0f;
+    float max = 11f;
+    float qmin = 0f;
+    float qmax = 0f;
+
+    char c;
+
+    if (conservation != null && conservation.annotations != null
+            && conservation.annotations.length < alWidth)
+    {
+      conservation.annotations = new Annotation[alWidth];
+    }
+
+    if (quality2 != null)
+    {
+      quality2.graphMax = (float) qualityRange[1];
+      if (quality2.annotations != null
+              && quality2.annotations.length < alWidth)
+      {
+        quality2.annotations = new Annotation[alWidth];
+      }
+      qmin = (float) qualityRange[0];
+      qmax = (float) qualityRange[1];
+    }
+
+    for (int i = istart; i < alWidth; i++)
+    {
+      float value = 0;
+
+      c = sequence[i];
+
+      if (Character.isDigit(c))
+      {
+        value = c - '0';
+      }
+      else if (c == '*')
+      {
+        value = 11;
+      }
+      else if (c == '+')
+      {
+        value = 10;
+      }
+
+      if (conservation != null)
+      {
+        float vprop = value - min;
+        vprop /= max;
+        int consp = i - start;
+        String conssym = (value > 0 && consp > -1 && consp < consSymbs.length) ? consSymbs[consp]
+                : "";
+        conservation.annotations[i] = new Annotation(String.valueOf(c),
+                conssym, ' ', value, new Color(minR + (maxR * vprop), minG
+                        + (maxG * vprop), minB + (maxB * vprop)));
+      }
+
+      // Quality calc
+      if (quality2 != null)
+      {
+        value = quality.elementAt(i).floatValue();
+        float vprop = value - qmin;
+        vprop /= qmax;
+        quality2.annotations[i] = new Annotation(" ",
+                String.valueOf(value), ' ', value, new Color(minR
+                        + (maxR * vprop), minG + (maxG * vprop), minB
+                        + (maxB * vprop)));
+      }
+    }
+  }
+
+  /**
+   * construct and call the calculation methods on a new Conservation object
+   * 
+   * @param name
+   *          - name of conservation
+   * @param threshold
+   *          - minimum number of conserved residues needed to indicate
+   *          conservation (typically 3)
+   * @param seqs
+   * @param start
+   *          first column in calculation window
+   * @param end
+   *          last column in calculation window
+   * @param posOrNeg
+   *          positive (true) or negative (false) conservation
+   * @param consPercGaps
+   *          percentage of gaps tolerated in column
+   * @param calcQuality
+   *          flag indicating if alignment quality should be calculated
+   * @return Conservation object ready for use in visualization
+   */
+  public static Conservation calculateConservation(String name,
+          int threshold, List<SequenceI> seqs, int start, int end,
+          boolean posOrNeg, int consPercGaps, boolean calcQuality)
+  {
+    Conservation cons = new Conservation(name, threshold, seqs, start, end);
+    cons.calculate();
+    cons.verdict(posOrNeg, consPercGaps);
+    
+    if (calcQuality)
+    {
+      cons.findQuality();
+    }
+    
+    return cons;
   }
 }