Merge branch 'develop' (JAL-4102 2.11.2.6 patch release) into features/r2_11_2_alphaf...
[jalview.git] / src / jalview / datamodel / ColumnSelection.java
index c895b2f..db83e76 100644 (file)
 /*
- * Jalview - A Sequence Alignment Editor and Viewer
- * Copyright (C) 2006 AM Waterhouse, J Procter, G Barton, M Clamp, S Searle
- *
- * This program is free software; you can redistribute it and/or
- * modify it under the terms of the GNU General Public License
- * as published by the Free Software Foundation; either version 2
+ * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
+ * Copyright (C) $$Year-Rel$$ The Jalview Authors
+ * 
+ * This file is part of Jalview.
+ * 
+ * Jalview is free software: you can redistribute it and/or
+ * modify it under the terms of the GNU General Public License 
+ * as published by the Free Software Foundation, either version 3
  * of the License, or (at your option) any later version.
- *
- * This program is distributed in the hope that it will be useful,
- * but WITHOUT ANY WARRANTY; without even the implied warranty of
- * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
- * GNU General Public License for more details.
- *
+ *  
+ * Jalview is distributed in the hope that it will be useful, but 
+ * WITHOUT ANY WARRANTY; without even the implied warranty 
+ * of MERCHANTABILITY or FITNESS FOR A PARTICULAR 
+ * PURPOSE.  See the GNU General Public License for more details.
+ * 
  * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA
+ * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
+ * The Jalview Authors are detailed in the 'AUTHORS' file.
  */
 package jalview.datamodel;
 
-import jalview.util.ShiftList;
+import java.util.ArrayList;
+import java.util.BitSet;
+import java.util.Collections;
+import java.util.List;
+import java.util.regex.PatternSyntaxException;
 
-import java.util.*;
+import jalview.viewmodel.annotationfilter.AnnotationFilterParameter;
+import jalview.viewmodel.annotationfilter.AnnotationFilterParameter.SearchableAnnotationField;
 
 /**
- * NOTE: Columns are zero based.
+ * Data class holding the selected columns and hidden column ranges for a view.
+ * Ranges are base 1.
  */
 public class ColumnSelection
 {
-  Vector selected = new Vector();
+  /**
+   * A class to hold an efficient representation of selected columns
+   */
+  private class IntList
+  {
+    /*
+     * list of selected columns (ordered by selection order, not column order)
+     */
+    private List<Integer> order;
+
+    /*
+     * an unmodifiable view of the selected columns list
+     */
+    private List<Integer> _uorder;
+
+    /**
+     * bitfield for column selection - allows quick lookup
+     */
+    private BitSet selected;
+
+    /**
+     * Constructor
+     */
+    IntList()
+    {
+      order = new ArrayList<>();
+      _uorder = Collections.unmodifiableList(order);
+      selected = new BitSet();
+    }
+
+    /**
+     * Copy constructor
+     * 
+     * @param other
+     */
+    IntList(IntList other)
+    {
+      this();
+      if (other != null)
+      {
+        int j = other.size();
+        for (int i = 0; i < j; i++)
+        {
+          add(other.elementAt(i));
+        }
+      }
+    }
+
+    /**
+     * adds a new column i to the selection - only if i is not already selected
+     * 
+     * @param i
+     */
+    void add(int i)
+    {
+      if (!selected.get(i))
+      {
+        order.add(Integer.valueOf(i));
+        selected.set(i);
+      }
+    }
+
+    void clear()
+    {
+      order.clear();
+      selected.clear();
+    }
+
+    void remove(int col)
+    {
+
+      Integer colInt = Integer.valueOf(col);
+
+      if (selected.get(col))
+      {
+        // if this ever changes to List.remove(), ensure Integer not int
+        // argument
+        // as List.remove(int i) removes the i'th item which is wrong
+        order.remove(colInt);
+        selected.clear(col);
+      }
+    }
+
+    boolean contains(Integer colInt)
+    {
+      return selected.get(colInt);
+    }
+
+    boolean isEmpty()
+    {
+      return order.isEmpty();
+    }
+
+    /**
+     * Returns a read-only view of the selected columns list
+     * 
+     * @return
+     */
+    List<Integer> getList()
+    {
+      return _uorder;
+    }
+
+    int size()
+    {
+      return order.size();
+    }
+
+    /**
+     * gets the column that was selected first, second or i'th
+     * 
+     * @param i
+     * @return
+     */
+    int elementAt(int i)
+    {
+      return order.get(i);
+    }
 
-  //Vector of int [] {startCol, endCol}
-  Vector hiddenColumns;
+    protected boolean pruneColumnList(final List<int[]> shifts)
+    {
+      int s = 0, t = shifts.size();
+      int[] sr = shifts.get(s++);
+      boolean pruned = false;
+      int i = 0, j = order.size();
+      while (i < j && s <= t)
+      {
+        int c = order.get(i++).intValue();
+        if (sr[0] <= c)
+        {
+          if (sr[1] + sr[0] >= c)
+          { // sr[1] -ve means inseriton.
+            order.remove(--i);
+            selected.clear(c);
+            j--;
+          }
+          else
+          {
+            if (s < t)
+            {
+              sr = shifts.get(s);
+            }
+            s++;
+          }
+        }
+      }
+      return pruned;
+    }
+
+    /**
+     * shift every selected column at or above start by change
+     * 
+     * @param start
+     *          - leftmost column to be shifted
+     * @param change
+     *          - delta for shift
+     */
+    void compensateForEdits(int start, int change)
+    {
+      BitSet mask = new BitSet();
+      for (int i = 0; i < order.size(); i++)
+      {
+        int temp = order.get(i);
+
+        if (temp >= start)
+        {
+          // clear shifted bits and update List of selected columns
+          selected.clear(temp);
+          mask.set(temp - change);
+          order.set(i, Integer.valueOf(temp - change));
+        }
+      }
+      // lastly update the bitfield all at once
+      selected.or(mask);
+    }
+
+    boolean isSelected(int column)
+    {
+      return selected.get(column);
+    }
+
+    int getMaxColumn()
+    {
+      return selected.length() - 1;
+    }
+
+    int getMinColumn()
+    {
+      return selected.get(0) ? 0 : selected.nextSetBit(0);
+    }
+
+    /**
+     * @return a series of selection intervals along the range
+     */
+    List<int[]> getRanges()
+    {
+      List<int[]> rlist = new ArrayList<>();
+      if (selected.isEmpty())
+      {
+        return rlist;
+      }
+      int next = selected.nextSetBit(0), clear = -1;
+      while (next != -1)
+      {
+        clear = selected.nextClearBit(next);
+        rlist.add(new int[] { next, clear - 1 });
+        next = selected.nextSetBit(clear);
+      }
+      return rlist;
+    }
+
+    @Override
+    public int hashCode()
+    {
+      // TODO Auto-generated method stub
+      return selected.hashCode();
+    }
+
+    @Override
+    public boolean equals(Object obj)
+    {
+      if (obj instanceof IntList)
+      {
+        return ((IntList) obj).selected.equals(selected);
+      }
+      return false;
+    }
+  }
+
+  private IntList selection = new IntList();
 
   /**
    * Add a column to the selection
-   *
-   * @param col index of column
+   * 
+   * @param col
+   *          index of column
    */
   public void addElement(int col)
   {
-    Integer column = new Integer(col);
-    if (!selected.contains(column))
-    {
-      selected.addElement(column);
-    }
+    selection.add(col);
   }
 
   /**
@@ -51,726 +282,583 @@ public class ColumnSelection
    */
   public void clear()
   {
-    selected.removeAllElements();
+    selection.clear();
   }
 
   /**
-   * removes col from selection
-   *
-   * @param col index of column to be removed
+   * Removes value 'col' from the selection (not the col'th item)
+   * 
+   * @param col
+   *          index of column to be removed
    */
   public void removeElement(int col)
   {
-    Integer colInt = new Integer(col);
-
-    if (selected.contains(colInt))
-    {
-      selected.removeElement(colInt);
-    }
+    selection.remove(col);
   }
 
   /**
    * removes a range of columns from the selection
-   * @param start int - first column in range to be removed
-   * @param end int - last col
+   * 
+   * @param start
+   *          int - first column in range to be removed
+   * @param end
+   *          int - last col
    */
   public void removeElements(int start, int end)
   {
     Integer colInt;
-    for(int i=start; i<end; i++)
+    for (int i = start; i < end; i++)
     {
-      colInt = new Integer(i);
-      if (selected.contains(colInt))
+      colInt = Integer.valueOf(i);
+      if (selection.contains(colInt))
       {
-        selected.removeElement(colInt);
+        selection.remove(colInt);
       }
     }
   }
-  /**
-   *
-   * @return Vector containing selected columns as Integers
-   */
-  public Vector getSelected()
-  {
-    return selected;
-  }
 
   /**
-   *
-   * @param col index to search for in column selection
-   *
-   * @return true if Integer(col) is in selection.
+   * Returns a read-only view of the (possibly empty) list of selected columns
+   * <p>
+   * The list contains no duplicates but is not necessarily ordered. It also may
+   * include columns hidden from the current view. To modify (for example sort)
+   * the list, you should first make a copy.
+   * <p>
+   * The list is not thread-safe: iterating over it could result in
+   * ConcurrentModificationException if it is modified by another thread.
    */
-  public boolean contains(int col)
+  public List<Integer> getSelected()
   {
-    return selected.contains(new Integer(col));
+    return selection.getList();
   }
 
   /**
-   * DOCUMENT ME!
-   *
-   * @param i DOCUMENT ME!
-   *
-   * @return DOCUMENT ME!
+   * @return list of int arrays containing start and end column position for
+   *         runs of selected columns ordered from right to left.
    */
-  public int columnAt(int i)
+  public List<int[]> getSelectedRanges()
   {
-    return ((Integer) selected.elementAt(i)).intValue();
+    return selection.getRanges();
   }
 
   /**
-   * DOCUMENT ME!
-   *
-   * @return DOCUMENT ME!
+   * 
+   * @param col
+   *          index to search for in column selection
+   * 
+   * @return true if col is selected
    */
-  public int size()
+  public boolean contains(int col)
   {
-    return selected.size();
+    return (col > -1) ? selection.isSelected(col) : false;
   }
 
   /**
-   * DOCUMENT ME!
-   *
-   * @return DOCUMENT ME!
+   * 
    */
-  public int getMax()
+  public boolean intersects(int from, int to)
   {
-    int max = -1;
-
-    for (int i = 0; i < selected.size(); i++)
+    // TODO: do this in a more efficient bitwise way
+    for (int f = from; f <= to; f++)
     {
-      if (columnAt(i) > max)
+      if (selection.isSelected(f))
       {
-        max = columnAt(i);
+        return true;
       }
     }
-
-    return max;
+    return false;
   }
 
   /**
-   * DOCUMENT ME!
-   *
-   * @return DOCUMENT ME!
+   * Answers true if no columns are selected, else false
    */
-  public int getMin()
+  public boolean isEmpty()
   {
-    int min = 1000000000;
+    return selection == null || selection.isEmpty();
+  }
 
-    for (int i = 0; i < selected.size(); i++)
+  /**
+   * rightmost selected column
+   * 
+   * @return rightmost column in alignment that is selected
+   */
+  public int getMax()
+  {
+    if (selection.isEmpty())
     {
-      if (columnAt(i) < min)
-      {
-        min = columnAt(i);
-      }
+      return -1;
     }
-
-    return min;
+    return selection.getMaxColumn();
   }
 
-
   /**
-   * propagate shift in alignment columns to column selection
-   *
-   * @param start beginning of edit
-   * @param left shift in edit (+ve for removal, or -ve for inserts)
+   * Leftmost column in selection
+   * 
+   * @return column index of leftmost column in selection
    */
-  public void compensateForEdit(int start, int change)
+  public int getMin()
   {
-    for (int i = 0; i < size(); i++)
+    if (selection.isEmpty())
     {
-      int temp = columnAt(i);
-
-      if (temp >= start)
-      {
-        selected.setElementAt(new Integer(temp - change), i);
-      }
+      return 1000000000;
     }
+    return selection.getMinColumn();
+  }
 
-    if(hiddenColumns!=null)
+  public void hideSelectedColumns(AlignmentI al)
+  {
+    synchronized (selection)
     {
-      for(int i=0; i<hiddenColumns.size(); i++)
+      for (int[] selregions : selection.getRanges())
       {
-        int[] region = (int[]) hiddenColumns.elementAt(i);
-        if(region[0] > start)
-        {
-          region[0] -= change;
-          region[1] -= change;
-        }
-        if(region[0]<0)
-          region[0] = 0;
-        if(region[1] <0)
-          region[1] = 0;
+        al.getHiddenColumns().hideColumns(selregions[0], selregions[1]);
       }
+      selection.clear();
     }
+
   }
+
   /**
-   * propagate shift in alignment columns to column selection
-   * special version of compensateForEdit - allowing for edits within hidden regions
-   * @param start beginning of edit
-   * @param left shift in edit (+ve for removal, or -ve for inserts)
+   * Hides the specified column and any adjacent selected columns
+   * 
+   * @param res
+   *          int
    */
-  private void compensateForDelEdits(int start, int change)
+  public void hideSelectedColumns(int col, HiddenColumns hidden)
   {
-    for (int i = 0; i < size(); i++)
+    /*
+     * deselect column (whether selected or not!)
+     */
+    removeElement(col);
+
+    /*
+     * find adjacent selected columns
+     */
+    int min = col - 1, max = col + 1;
+    while (contains(min))
     {
-      int temp = columnAt(i);
-
-      if (temp >= start)
-      {
-        selected.setElementAt(new Integer(temp - change), i);
-      }
+      removeElement(min);
+      min--;
     }
 
-    if(hiddenColumns!=null)
+    while (contains(max))
     {
-      for(int i=0; i<hiddenColumns.size(); i++)
-      {
-        int[] region = (int[]) hiddenColumns.elementAt(i);
-        if(region[0] >= start)
-        {
-          region[0] -= change;
-        }
-        if (region[1]>= start) {
-          region[1] -=change;
-        }
-        if (region[1]<region[0]) {
-          hiddenColumns.removeElementAt(i--);
-        }
-
-        if(region[0]<0)
-          region[0] = 0;
-        if(region[1] <0)
-          region[1] = 0;
-      }
-    }
-  }
-  /**
-   * Adjust hidden column boundaries based on a series of column
-   * additions or deletions in visible regions.
-   * @param shiftrecord
-   * @return
-   */
-  public ShiftList compensateForEdits(ShiftList shiftrecord) {
-    if (shiftrecord!=null) {
-      Vector shifts = shiftrecord.shifts;
-      if (shifts!=null && shifts.size()>0) {
-        int shifted=0;
-        for (int i=0,j=shifts.size(); i<j; i++) {
-          int[] sh = (int[]) shifts.elementAt(i);
-          //compensateForEdit(shifted+sh[0], sh[1]);
-          compensateForDelEdits(shifted+sh[0], sh[1]);
-          shifted-=sh[1];
-        }
-      }
-      return shiftrecord.getInverse();
+      removeElement(max);
+      max++;
     }
-    return null;
-  }
-  /**
-   * removes intersection of position,length ranges in deletions
-   * from the start,end regions marked in intervals.
-   * @param deletions
-   * @param intervals
-   * @return
-   */
-  private boolean pruneIntervalVector(Vector deletions, Vector intervals) {
-    boolean pruned=false;
-    int i=0,j=intervals.size()-1, s=0, t=deletions.size()-1;
-    int hr[]=(int[]) intervals.elementAt(i);
-    int sr[]=(int[]) deletions.elementAt(s);
-    while (i<=j && s<=t) {
-      boolean trailinghn=hr[1]>=sr[0];
-      if (!trailinghn) {
-        if (i<j)
-          hr=(int[]) intervals.elementAt(++i);
-        else
-          i++;
-        continue;
-      }
-      int endshift=sr[0]+sr[1]; // deletion ranges - -ve means an insert
-      if (endshift<hr[0] || endshift<sr[0]) { // leadinghc disjoint or not a deletion
-        if (s<t)
-          sr=(int[]) deletions.elementAt(++s);
-        else
-          s++;
-        continue;
-      }
-      boolean leadinghn=hr[0]>=sr[0];
-      boolean leadinghc=hr[0]<endshift;
-      boolean trailinghc=hr[1]<endshift;
-      if (leadinghn) {
-        if (trailinghc) {// deleted hidden region.
-          intervals.removeElementAt(i);
-          pruned=true;
-          j--;
-          if (i<=j)
-            hr=(int[]) intervals.elementAt(i);
-          continue;
-        }
-        if (leadinghc) {
-          hr[0]=endshift; // clip c terminal region
-          leadinghn=!leadinghn;
-          pruned=true;
-        }
-      }
-      if (!leadinghn) {
-        if (trailinghc) {
-          if (trailinghn) {
-            hr[1]=sr[0]-1;
-            pruned=true;
-          }
-        } else {
-          // sr contained in hr
-          if (s<t)
-            sr=(int[]) deletions.elementAt(++s);
-          else
-            s++;
-          continue;
-        }
-      }
-    }
-    return pruned; // true if any interval was removed or modified by operations.
-  }
-  private boolean pruneColumnList(Vector deletion, Vector list) {
-    int s=0,t=deletion.size();
-    int[] sr=(int[])list.elementAt(s++);
-    boolean pruned=false;
-    int i=0, j=list.size();
-    while (i<j && s<=t) {
-      int c=((Integer)list.elementAt(i++)).intValue();
-      if (sr[0]<=c) {
-        if (sr[1]+sr[0]>=c) { // sr[1] -ve means inseriton.
-          list.removeElementAt(--i);
-          j--;
-        } else {
-          if (s<t)
-            sr = (int[])deletion.elementAt(s);
-          s++;
-        }
-      }
+
+    /*
+     * min, max are now the closest unselected columns
+     */
+    min++;
+    max--;
+    if (min > max)
+    {
+      min = max;
     }
-    return pruned;
+
+    hidden.hideColumns(min, max);
   }
+
   /**
-   * remove any hiddenColumns or selected columns and shift remaining
-   * based on a series of position, range deletions.
-   * @param deletions
+   * Copy constructor
+   * 
+   * @param copy
    */
-  public void pruneDeletions(ShiftList deletions) {
-    if (deletions!=null) {
-      Vector shifts=deletions.shifts;
-      if (shifts!=null && shifts.size()>0) {
-        // delete any intervals intersecting.
-        if (hiddenColumns!=null) {
-          pruneIntervalVector(shifts, hiddenColumns);
-          if (hiddenColumns!=null && hiddenColumns.size()==0) {
-            hiddenColumns=null;
-          }
-        }
-        if (selected!=null && selected.size()>0) {
-          pruneColumnList(shifts, selected);
-          if (selected!=null && selected.size()==0)
-            selected=null;
-        }
-        // and shift the rest.
-        this.compensateForEdits(deletions);
-      }
+  public ColumnSelection(ColumnSelection copy)
+  {
+    if (copy != null)
+    {
+      selection = new IntList(copy.selection);
     }
   }
+
   /**
-   * This Method is used to return all the HiddenColumn regions
-   * less than the given index.
-   * @param end int
-   * @return Vector
+   * ColumnSelection
    */
-  public Vector getHiddenColumns()
+  public ColumnSelection()
   {
-    return hiddenColumns;
   }
+
   /**
-   * Return absolute column index for a visible column index
-   * @param column int column index in alignment view
-   * @return alignment column index for column
+   * Invert the column selection from first to end-1. leaves hiddenColumns
+   * untouched (and unselected)
+   * 
+   * @param first
+   * @param end
    */
-  public int adjustForHiddenColumns(int column)
+  public void invertColumnSelection(int first, int width, AlignmentI al)
   {
-    int result = column;
-    if (hiddenColumns != null)
+    boolean hasHidden = al.getHiddenColumns().hasHiddenColumns();
+    for (int i = first; i < width; i++)
     {
-      for (int i = 0; i < hiddenColumns.size(); i++)
+      if (contains(i))
       {
-        int[] region = (int[]) hiddenColumns.elementAt(i);
-        if (result >= region[0])
+        removeElement(i);
+      }
+      else
+      {
+        if (!hasHidden || al.getHiddenColumns().isVisible(i))
         {
-          result += region[1] - region[0] + 1;
+          addElement(i);
         }
       }
     }
-    return result;
   }
 
   /**
-   * Use this method to find out where a visible column is in the alignment
-   * when hidden columns exist
-   * @param hiddenColumn int
-   * @return int
+   * set the selected columns to the given column selection, excluding any
+   * columns that are hidden.
+   * 
+   * @param colsel
    */
-  public int findColumnPosition(int hiddenColumn)
+  public void setElementsFrom(ColumnSelection colsel,
+          HiddenColumns hiddenColumns)
   {
-    int result = hiddenColumn;
-    if (hiddenColumns != null)
+    selection = new IntList();
+    if (colsel.selection != null && colsel.selection.size() > 0)
     {
-      int index = 0;
-      int gaps = 0;
-      do
+      if (hiddenColumns.hasHiddenColumns())
       {
-        int[] region = (int[]) hiddenColumns.elementAt(index);
-        if (hiddenColumn > region[1])
+        // only select visible columns in this columns selection
+        for (Integer col : colsel.getSelected())
         {
-          result -= region[1]+1-region[0];
+          if (hiddenColumns != null
+                  && hiddenColumns.isVisible(col.intValue()))
+          {
+            selection.add(col);
+          }
         }
-        index++;
       }
-      while (index < hiddenColumns.size());
-
-      result -= gaps;
-    }
-
-    return result;
-  }
-
-  /**
-   * Use this method to determine where the next hiddenRegion starts
-   */
-  public int findHiddenRegionPosition(int hiddenRegion)
-  {
-    int result = 0;
-    if (hiddenColumns != null)
-    {
-      int index = 0;
-      int gaps = 0;
-      do
+      else
       {
-        int[] region = (int[]) hiddenColumns.elementAt(index);
-        if(hiddenRegion==0)
+        // add everything regardless
+        for (Integer col : colsel.getSelected())
         {
-          return region[0];
+          addElement(col);
         }
-
-        gaps +=  region[1] +1 - region[0];
-        result = region[1] +1;
-        index++;
       }
-      while(index < hiddenRegion+1);
-
-      result -= gaps;
     }
-
-    return result;
   }
 
   /**
-   * THis method returns the rightmost limit of a
-   * region of an alignment with hidden columns.
-   * In otherwords, the next hidden column.
-   * @param index int
+   * 
+   * @return true if there are columns marked
    */
-  public int getHiddenBoundaryRight(int alPos)
+  public boolean hasSelectedColumns()
   {
-    if (hiddenColumns != null)
-    {
-      int index = 0;
-      do
-      {
-        int[] region = (int[]) hiddenColumns.elementAt(index);
-        if(alPos < region[0])
-          return region[0];
-
-        index++;
-      }
-      while(index < hiddenColumns.size());
-    }
-
-    return alPos;
-
+    return (selection != null && selection.size() > 0);
   }
+
   /**
-   * THis method returns the rightmost limit of a
-   * region of an alignment with hidden columns.
-   * In otherwords, the next hidden column.
-   * @param index int
+   * Selects columns where the given annotation matches the provided filter
+   * condition(s). Any existing column selections are first cleared. Answers the
+   * number of columns added.
+   * 
+   * @param annotations
+   * @param filterParams
+   * @return
    */
-  public int getHiddenBoundaryLeft(int alPos)
+  public int filterAnnotations(AlignmentAnnotation ann_row,
+          AnnotationFilterParameter filterParams)
   {
-    if (hiddenColumns != null)
+    Annotation[] annotations = ann_row.annotations;
+    // JBPNote - this method needs to be refactored to become independent of
+    // viewmodel package
+    this.clear();
+
+    if (ann_row.graph == AlignmentAnnotation.CUSTOMRENDERER && (filterParams
+            .getThresholdType() == AnnotationFilterParameter.ThresholdType.ABOVE_THRESHOLD
+            || filterParams
+                    .getThresholdType() == AnnotationFilterParameter.ThresholdType.BELOW_THRESHOLD))
     {
-      int index = hiddenColumns.size()-1;
-      do
+      float tVal = filterParams.getThresholdValue();
+      if (ann_row.sequenceRef != null)
       {
-        int[] region = (int[]) hiddenColumns.elementAt(index);
-        if(alPos > region[1])
-          return region[1];
+        // TODO - get ContactList from AlignmentView for non-seq-ref associatd
+        for (int column = 0; column < annotations.length; column++)
+        {
+          if (ann_row.annotations[column] == null)
+          {
+            continue;
+          }
 
-        index--;
+          int cpos = ann_row.sequenceRef.findPosition(column) - 1;
+          ContactListI clist = ann_row.sequenceRef
+                  .getContactListFor(ann_row, cpos);
+          for (int row = column + 8,
+                  rowEnd = clist.getContactHeight(); row < rowEnd; row++)
+          {
+            if (filterParams
+                    .getThresholdType() == AnnotationFilterParameter.ThresholdType.ABOVE_THRESHOLD
+                            ? (clist.getContactAt(row) > tVal)
+                            : (clist.getContactAt(row) < tVal))
+            {
+              addElement(column);
+              break;
+              // int column_forrowpos = ann_row.sequenceRef.findIndex(row + 1);
+              // addElement(column_forrowpos);
+            }
+          }
+        }
       }
-      while(index >-1);
+      return selection.size();
     }
 
-    return alPos;
+    int addedCount = 0;
+    int column = 0;
+    do
+    {
+      Annotation ann = annotations[column];
+      if (ann != null)
+      {
+        float value = ann.value;
+        boolean matched = false;
+
+        /*
+         * filter may have multiple conditions - 
+         * these are or'd until a match is found
+         */
+        if (filterParams
+                .getThresholdType() == AnnotationFilterParameter.ThresholdType.ABOVE_THRESHOLD
+                && value > filterParams.getThresholdValue())
+        {
+          matched = true;
+        }
 
-  }
+        if (!matched && filterParams
+                .getThresholdType() == AnnotationFilterParameter.ThresholdType.BELOW_THRESHOLD
+                && value < filterParams.getThresholdValue())
+        {
+          matched = true;
+        }
 
-  public void hideSelectedColumns()
-  {
-    while (size() > 0)
-    {
-      int column = ( (Integer) getSelected().firstElement()).intValue();
-      hideColumns(column);
-    }
+        if (!matched && filterParams.isFilterAlphaHelix()
+                && ann.secondaryStructure == 'H')
+        {
+          matched = true;
+        }
 
-  }
+        if (!matched && filterParams.isFilterBetaSheet()
+                && ann.secondaryStructure == 'E')
+        {
+          matched = true;
+        }
 
-  public void hideColumns(int start, int end)
-  {
-    if(hiddenColumns==null)
-      hiddenColumns = new Vector();
+        if (!matched && filterParams.isFilterTurn()
+                && ann.secondaryStructure == 'S')
+        {
+          matched = true;
+        }
 
-    boolean added = false;
-    boolean overlap = false;
+        String regexSearchString = filterParams.getRegexString();
+        if (!matched && regexSearchString != null)
+        {
+          List<SearchableAnnotationField> fields = filterParams
+                  .getRegexSearchFields();
+          for (SearchableAnnotationField field : fields)
+          {
+            String compareTo = field == SearchableAnnotationField.DISPLAY_STRING
+                    ? ann.displayCharacter // match 'Label'
+                    : ann.description; // and/or 'Description'
+            if (compareTo != null)
+            {
+              try
+              {
+                if (compareTo.matches(regexSearchString))
+                {
+                  matched = true;
+                }
+              } catch (PatternSyntaxException pse)
+              {
+                if (compareTo.equals(regexSearchString))
+                {
+                  matched = true;
+                }
+              }
+              if (matched)
+              {
+                break;
+              }
+            }
+          }
+        }
 
-    for (int i = 0; i < hiddenColumns.size(); i++)
-    {
-      int[] region = (int[]) hiddenColumns.elementAt(i);
-      if ( start<=region[1] && end>=region[0])
-      {
-        hiddenColumns.removeElementAt(i);
-        overlap = true;
-        break;
-      }
-      else if (end < region[0] && start < region[0])
-      {
-        hiddenColumns.insertElementAt(new int[]
-                                              {start, end}, i);
-        added = true;
-        break;
+        if (matched)
+        {
+          this.addElement(column);
+          addedCount++;
+        }
       }
-    }
-
-    if(overlap)
-    {
-      hideColumns(start, end);
-    }
-    else if (!added)
-      hiddenColumns.addElement(new int[] {start, end});
+      column++;
+    } while (column < annotations.length);
 
+    return addedCount;
   }
 
   /**
-   * This method will find a range of selected columns
-   * around the column specified
-   * @param res int
+   * Returns a hashCode built from selected columns ranges
    */
-  public void hideColumns(int col)
+  @Override
+  public int hashCode()
   {
-    // First find out range of columns to hide
-    int min = col, max = col+1;
-    while( contains(min) )
-    {  removeElement(min); min --;  }
-
-    while( contains(max) )
-    { removeElement(max);  max ++;  }
-
-    min++; max--;
-
-    hideColumns(min, max);
+    return selection.hashCode();
   }
 
-  public void revealAllHiddenColumns()
+  /**
+   * Answers true if comparing to a ColumnSelection with the same selected
+   * columns and hidden columns, else false
+   */
+  @Override
+  public boolean equals(Object obj)
   {
-    if(hiddenColumns!=null)
+    if (!(obj instanceof ColumnSelection))
     {
-      for (int i = 0; i < hiddenColumns.size(); i++)
-      {
-        int[] region = (int[]) hiddenColumns.elementAt(i);
-        for (int j = region[0]; j < region[1]+1; j++)
-        {
-          addElement(j);
-        }
-      }
+      return false;
     }
+    ColumnSelection that = (ColumnSelection) obj;
 
-    hiddenColumns = null;
-  }
-
-  public void revealHiddenColumns(int res)
-  {
-    for(int i=0; i<hiddenColumns.size(); i++)
+    /*
+     * check columns selected are either both null, or match
+     */
+    if (this.selection == null)
     {
-      int [] region = (int[])hiddenColumns.elementAt(i);
-      if( res == region[0])
+      if (that.selection != null)
       {
-        for (int j = region[0]; j < region[1]+1; j++)
-        {
-          addElement(j);
-        }
-
-        hiddenColumns.removeElement(region);
-        break;
+        return false;
       }
     }
-    if(hiddenColumns.size()==0)
-      hiddenColumns = null;
-  }
-
-  public boolean isVisible(int column)
-  {
-    for(int i=0; i<hiddenColumns.size(); i++)
+    if (!this.selection.equals(that.selection))
     {
-      int [] region = (int[])hiddenColumns.elementAt(i);
-      if( column >= region[0] && column <= region[1])
-      {
-        return false;
-      }
+      return false;
     }
+
     return true;
   }
+
   /**
-   * Copy constructor
-   * @param copy
-   */
-  public ColumnSelection(ColumnSelection copy) {
-    if (copy!=null) {
-      if (copy.selected!=null) {
-        selected = new Vector();
-        for (int i=0,j=copy.selected.size(); i<j; i++) {
-          selected.setElementAt( ((Integer) copy.selected.elementAt(i)), i);
-        }
-      }
-      if (copy.hiddenColumns!=null) {
-        hiddenColumns=new Vector();
-        for (int i=0,j=copy.hiddenColumns.size(); i<j; i++) {
-          int[] rh,cp;
-          rh = (int[])copy.hiddenColumns.elementAt(i);
-          if (rh!=null) {
-            cp = new int[rh.length];
-            System.arraycopy(rh, 0, cp, 0, rh.length);
-            hiddenColumns.setElementAt(cp, i);
-          }
-        }
-      }
-    }
-  }
-  /**
-   * ColumnSelection
+   * Updates the column selection depending on the parameters, and returns true
+   * if any change was made to the selection
+   * 
+   * @param markedColumns
+   *          a set identifying marked columns (base 0)
+   * @param startCol
+   *          the first column of the range to operate over (base 0)
+   * @param endCol
+   *          the last column of the range to operate over (base 0)
+   * @param invert
+   *          if true, deselect marked columns and select unmarked
+   * @param extendCurrent
+   *          if true, extend rather than replacing the current column selection
+   * @param toggle
+   *          if true, toggle the selection state of marked columns
+   * 
+   * @return
    */
-  public ColumnSelection()
+  public boolean markColumns(BitSet markedColumns, int startCol, int endCol,
+          boolean invert, boolean extendCurrent, boolean toggle)
   {
-  }
-
-  public String[] getVisibleSequenceStrings(int start, int end, SequenceI[] seqs) {
-    int i,iSize=seqs.length;
-    String selection[] = new String[iSize];
-    if (hiddenColumns!=null && hiddenColumns.size()>0)
+    boolean changed = false;
+    if (!extendCurrent && !toggle)
     {
-      for (i=0; i<iSize; i++) {
-        StringBuffer visibleSeq = new StringBuffer();
-        Vector regions = getHiddenColumns();
-
-        int blockStart = start, blockEnd=end;
-        int [] region;
-        int hideStart, hideEnd;
-
-        for (int j = 0; j < regions.size(); j++)
+      changed = !this.isEmpty();
+      clear();
+    }
+    if (invert)
+    {
+      // invert only in the currently selected sequence region
+      int i = markedColumns.nextClearBit(startCol);
+      int ibs = markedColumns.nextSetBit(startCol);
+      while (i >= startCol && i <= endCol)
+      {
+        if (ibs < 0 || i < ibs)
         {
-          region = (int[]) regions.elementAt(j);
-          hideStart = region[0];
-          hideEnd = region[1];
-
-          if(hideStart < start)
+          changed = true;
+          if (toggle && contains(i))
           {
-            continue;
+            removeElement(i++);
           }
-
-          blockStart = Math.min(blockStart, hideEnd+1);
-          blockEnd = Math.min(blockEnd, hideStart);
-
-          if(blockStart>blockEnd)
+          else
           {
-            break;
+            addElement(i++);
           }
-
-
-          visibleSeq.append(seqs[i].getSequence(blockStart, blockEnd));
-
-          blockStart = hideEnd+1;
-          blockEnd = end;
         }
-
-        if(end>blockStart)
-          visibleSeq.append(seqs[i].getSequence(blockStart, end));
-
-        selection[i] = visibleSeq.toString();
+        else
+        {
+          i = markedColumns.nextClearBit(ibs);
+          ibs = markedColumns.nextSetBit(i);
+        }
       }
     }
     else
     {
-      for(i=0; i<iSize; i++)
+      int i = markedColumns.nextSetBit(startCol);
+      while (i >= startCol && i <= endCol)
       {
-        selection[i] = seqs[i].getSequence(start, end);
+        changed = true;
+        if (toggle && contains(i))
+        {
+          removeElement(i);
+        }
+        else
+        {
+          addElement(i);
+        }
+        i = markedColumns.nextSetBit(i + 1);
       }
     }
-
-    return selection;
+    return changed;
   }
+
   /**
-   * return all visible segments between the given start and end boundaries
+   * Adjusts column selections, and the given selection group, to match the
+   * range of a stretch (e.g. mouse drag) operation
+   * <p>
+   * Method refactored from ScalePanel.mouseDragged
    * 
-   * @param start (first column inclusive from 0)
-   * @param end (last column - not inclusive)
-   * @return int[] {i_start, i_end, ..} where intervals lie in start<=i_start<=i_end<end 
+   * @param res
+   *          current column position, adjusted for hidden columns
+   * @param sg
+   *          current selection group
+   * @param min
+   *          start position of the stretch group
+   * @param max
+   *          end position of the stretch group
    */
-  public int[] getVisibleContigs(int start, int end) {
-    if (hiddenColumns!=null && hiddenColumns.size()>0)
+  public void stretchGroup(int res, SequenceGroup sg, int min, int max)
+  {
+    if (!contains(res))
     {
-      Vector visiblecontigs=new Vector();
-      Vector regions = getHiddenColumns();
+      addElement(res);
+    }
 
-      int vstart = start;
-      int [] region;
-      int hideStart, hideEnd;
+    if (res > sg.getStartRes())
+    {
+      // expand selection group to the right
+      sg.setEndRes(res);
+    }
+    if (res < sg.getStartRes())
+    {
+      // expand selection group to the left
+      sg.setStartRes(res);
+    }
 
-      for (int j = 0; vstart<end && j < regions.size(); j++)
+    /*
+     * expand or shrink column selection to match the
+     * range of the drag operation
+     */
+    for (int col = min; col <= max; col++)
+    {
+      if (col < sg.getStartRes() || col > sg.getEndRes())
       {
-        region = (int[]) regions.elementAt(j);
-        hideStart = region[0];
-        hideEnd = region[1];
-
-        if(hideEnd < vstart)
-        {
-          continue;
-        }
-        if (hideStart>vstart) {
-          visiblecontigs.addElement(new int[] {vstart, hideStart-1});
-        }
-        vstart=hideEnd+1;
+        // shrinking drag - remove from selection
+        removeElement(col);
       }
-
-      if(vstart<end)
-        visiblecontigs.addElement(new int[] { vstart, end-1});
-      int[] vcontigs = new int[visiblecontigs.size()*2];
-      for (int i=0,j=visiblecontigs.size(); i<j; i++) {
-        int [] vc = (int[]) visiblecontigs.get(i);
-        visiblecontigs.setElementAt(null, i);
-        vcontigs[i*2] = vc[0];
-        vcontigs[i*2+1] = vc[1];
+      else
+      {
+        // expanding drag - add to selection
+        addElement(col);
       }
-      visiblecontigs.clear();
-      return vcontigs;
-    }     
-    else
-    {
-      return new int[] { start, end-1 };
     }
   }
 }