JAL-2759 change subtractVisibleColumns and removal of reverse iterator
[jalview.git] / src / jalview / datamodel / HiddenColumns.java
index fb1961e..ea8da8d 100644 (file)
 package jalview.datamodel;
 
 import java.util.ArrayList;
+import java.util.Arrays;
 import java.util.BitSet;
 import java.util.Iterator;
 import java.util.List;
-import java.util.NoSuchElementException;
 import java.util.concurrent.locks.ReentrantReadWriteLock;
 
+/**
+ * This class manages the collection of hidden columns associated with an
+ * alignment. To iterate over the collection, or over visible columns/regions,
+ * use an iterator obtained from one of:
+ * 
+ * - getBoundedIterator: iterates over the hidden regions, within some bounds,
+ * returning absolute positions
+ * 
+ * - getBoundedStartIterator: iterates over the start positions of hidden
+ * regions, within some bounds, returning visible positions
+ * 
+ * - getVisContigsIterator: iterates over visible regions in a range, returning
+ * absolute positions
+ * 
+ * - getVisibleColsIterator: iterates over the visible *columns*
+ * 
+ * For performance reasons, provide bounds where possible. Note that column
+ * numbering begins at 0 throughout this class.
+ * 
+ * @author kmourao
+ *
+ */
 public class HiddenColumns
 {
   private static final int HASH_MULTIPLIER = 31;
@@ -34,10 +56,21 @@ public class HiddenColumns
   private static final ReentrantReadWriteLock LOCK = new ReentrantReadWriteLock();
 
   /*
+   * Cursor which tracks the last used hidden columns region, and the number 
+   * of hidden columns up to (but not including) that region.
+   */
+  private HiddenColumnsCursor cursor = new HiddenColumnsCursor();
+
+  /*
+   * cache of the number of hidden columns
+   */
+  private int numColumns = 0;
+
+  /*
    * list of hidden column [start, end] ranges; the list is maintained in
    * ascending start column order
    */
-  private ArrayList<int[]> hiddenColumns;
+  private List<int[]> hiddenColumns = new ArrayList<>();
 
   /**
    * Constructor
@@ -46,32 +79,23 @@ public class HiddenColumns
   {
   }
 
+  /* 
+   * Methods which change the hiddenColumns collection. These methods should 
+   * use a writeLock to prevent other threads accessing the hiddenColumns
+   * collection while changes are being made. They should also reset the hidden
+   * columns cursor, and either update the hidden columns count, or set it to 0 
+   * (so that it will later be updated when needed).
+   */
+
   /**
    * Copy constructor
    * 
    * @param copy
+   *          the HiddenColumns object to copy from
    */
   public HiddenColumns(HiddenColumns copy)
   {
-    try
-    {
-      LOCK.writeLock().lock();
-      if (copy != null)
-      {
-        if (copy.hiddenColumns != null)
-        {
-          hiddenColumns = new ArrayList<>();
-          Iterator<int[]> it = copy.iterator();
-          while (it.hasNext())
-          {
-            hiddenColumns.add(it.next());
-          }
-        }
-      }
-    } finally
-    {
-      LOCK.writeLock().unlock();
-    }
+    this(copy, Integer.MIN_VALUE, Integer.MAX_VALUE, 0);
   }
 
   /**
@@ -96,7 +120,7 @@ public class HiddenColumns
       LOCK.writeLock().lock();
       if (copy != null)
       {
-        hiddenColumns = new ArrayList<>();
+        numColumns = 0;
         Iterator<int[]> it = copy.getBoundedIterator(start, end);
         while (it.hasNext())
         {
@@ -108,8 +132,10 @@ public class HiddenColumns
             hiddenColumns.add(
                     new int[]
             { region[0] - offset, region[1] - offset });
+            numColumns += region[1] - region[0] + 1;
           }
         }
+        cursor.resetCursor(hiddenColumns);
       }
     } finally
     {
@@ -118,843 +144,269 @@ public class HiddenColumns
   }
 
   /**
-   * Output regions data as a string. String is in the format:
-   * reg0[0]<between>reg0[1]<delimiter>reg1[0]<between>reg1[1] ... regn[1]
+   * Adds the specified column range to the hidden columns collection
    * 
-   * @param delimiter
-   *          string to delimit regions
-   * @param betweenstring
-   *          to put between start and end region values
-   * @return regions formatted according to delimiter and between strings
+   * @param start
+   *          start of range to add (absolute position in alignment)
+   * @param end
+   *          end of range to add (absolute position in alignment)
    */
-  public String regionsToString(String delimiter, String between)
+  public void hideColumns(int start, int end)
   {
+    boolean wasAlreadyLocked = false;
     try
     {
-      LOCK.readLock().lock();
-      StringBuilder regionBuilder = new StringBuilder();
-      Iterator<int[]> it = new RegionsIterator();
-      while (it.hasNext())
+      // check if the write lock was already locked by this thread,
+      // as this method can be called internally in loops within HiddenColumns
+      if (!LOCK.isWriteLockedByCurrentThread())
+      {
+        LOCK.writeLock().lock();
+      }
+      else
+      {
+        wasAlreadyLocked = true;
+      }
+
+      int previndex = 0;
+      int prevHiddenCount = 0;
+      int regionindex = 0;
+      if (!hiddenColumns.isEmpty())
       {
-        int[] range = it.next();
-        regionBuilder.append(delimiter).append(range[0]).append(between)
-                  .append(range[1]);
-        if (!it.hasNext())
+        // set up cursor reset values
+        HiddenCursorPosition cursorPos = cursor.findRegionForColumn(start);
+        regionindex = cursorPos.getRegionIndex();
+
+        if (regionindex > 0)
         {
-          regionBuilder.deleteCharAt(0);
+          // get previous index and hidden count for updating the cursor later
+          previndex = regionindex - 1;
+          int[] prevRegion = hiddenColumns.get(previndex);
+          prevHiddenCount = cursorPos.getHiddenSoFar()
+                  - (prevRegion[1] - prevRegion[0] + 1);
         }
       }
-      return regionBuilder.toString();
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
 
-  /**
-   * Find the number of hidden columns
-   * 
-   * @return number of hidden columns
-   */
-  public int getSize()
-  {
-    try
-    {
-      LOCK.readLock().lock();
-      int size = 0;
-      Iterator<int[]> it = new RegionsIterator();
-      while (it.hasNext())
+      /*
+       * new range follows everything else; check first to avoid looping over whole hiddenColumns collection
+       */
+      if (hiddenColumns.isEmpty()
+              || start > hiddenColumns.get(hiddenColumns.size() - 1)[1])
+      {
+        hiddenColumns.add(new int[] { start, end });
+      }
+      else
       {
-        int[] range = it.next();
-        size += range[1] - range[0] + 1;
+        /*
+         * traverse existing hidden ranges and insert / amend / append as
+         * appropriate
+         */
+        boolean added = false;
+        if (regionindex > 0)
+        {
+          added = insertRangeAtRegion(regionindex - 1, start, end);
+        }
+        if (!added && regionindex < hiddenColumns.size())
+        {
+          insertRangeAtRegion(regionindex, start, end);
+        }
       }
 
-      return size;
+      // reset the cursor to just before our insertion point: this saves
+      // a lot of reprocessing in large alignments
+      cursor.resetCursor(hiddenColumns, previndex, prevHiddenCount);
+
+      // reset the number of columns so they will be recounted
+      numColumns = 0;
+
     } finally
     {
-      LOCK.readLock().unlock();
+      if (!wasAlreadyLocked)
+      {
+        LOCK.writeLock().unlock();
+      }
     }
   }
 
   /**
-   * Get the number of distinct hidden regions
+   * Insert [start, range] at the region at index i in hiddenColumns, if
+   * feasible
    * 
-   * @return number of regions
+   * @param i
+   *          index to insert at
+   * @param start
+   *          start of range to insert
+   * @param end
+   *          end of range to insert
+   * @return true if range was successfully inserted
    */
-  public int getNumberOfRegions()
+  private boolean insertRangeAtRegion(int i, int start, int end)
   {
-    try
+    boolean added = false;
+
+    int[] region = hiddenColumns.get(i);
+    if (end < region[0] - 1)
     {
-      LOCK.readLock().lock();
-      int num = 0;
-      if (hasHiddenColumns())
-      {
-        num = hiddenColumns.size();
-      }
-      return num;
-    } finally
+      /*
+       * insert discontiguous preceding range
+       */
+      hiddenColumns.add(i, new int[] { start, end });
+      added = true;
+    }
+    else if (end <= region[1])
     {
-      LOCK.readLock().unlock();
+      /*
+       * new range overlaps existing, or is contiguous preceding it - adjust
+       * start column
+       */
+      region[0] = Math.min(region[0], start);
+      added = true;
     }
-  }
-
-  @Override
-  public boolean equals(Object obj)
-  {
-    try
+    else if (start <= region[1] + 1)
     {
-      LOCK.readLock().lock();
-
-      if (!(obj instanceof HiddenColumns))
-      {
-        return false;
-      }
-      HiddenColumns that = (HiddenColumns) obj;
-
       /*
-       * check hidden columns are either both null, or match
+       * new range overlaps existing, or is contiguous following it - adjust
+       * start and end columns
        */
-      if (this.hiddenColumns == null)
-      {
-        return (that.hiddenColumns == null);
-      }
-      if (that.hiddenColumns == null
-              || that.hiddenColumns.size() != this.hiddenColumns.size())
-      {
-        return false;
-      }
+      region[0] = Math.min(region[0], start);
+      region[1] = Math.max(region[1], end);
 
-      Iterator<int[]> it = new RegionsIterator();
-      Iterator<int[]> thatit = that.iterator();
-      while (it.hasNext())
+      /*
+       * also update or remove any subsequent ranges 
+       * that are overlapped
+       */
+      while (i < hiddenColumns.size() - 1)
       {
-        int[] thisRange = it.next();
-        int[] thatRange = thatit.next();
-        if (thisRange[0] != thatRange[0] || thisRange[1] != thatRange[1])
+        int[] nextRegion = hiddenColumns.get(i + 1);
+        if (nextRegion[0] > end + 1)
         {
-          return false;
+          /*
+           * gap to next hidden range - no more to update
+           */
+          break;
         }
+        region[1] = Math.max(nextRegion[1], end);
+
+        // in theory this is faster than hiddenColumns.remove(i+1)
+        // benchmarking results a bit ambivalent
+        hiddenColumns.subList(i + 1, i + 2).clear();
       }
-      return true;
-    } finally
-    {
-      LOCK.readLock().unlock();
+      added = true;
     }
+    return added;
   }
 
   /**
-   * Return absolute column index for a visible column index
+   * hide a list of ranges
    * 
-   * @param column
-   *          int column index in alignment view (count from zero)
-   * @return alignment column index for column
+   * @param ranges
    */
-  public int adjustForHiddenColumns(int column)
+  public void hideList(List<int[]> ranges)
   {
     try
     {
-      LOCK.readLock().lock();
-      int result = column;
-
-      Iterator<int[]> it = new RegionsIterator();
-      while (it.hasNext())
+      LOCK.writeLock().lock();
+      for (int[] r : ranges)
       {
-        int[] region = it.next();
-        if (result >= region[0])
-        {
-          result += region[1] - region[0] + 1;
-        }
+        hideColumns(r[0], r[1]);
       }
-
-      return result;
+      cursor.resetCursor(hiddenColumns);
+      numColumns = 0;
     } finally
     {
-      LOCK.readLock().unlock();
+      LOCK.writeLock().unlock();
     }
   }
 
   /**
-   * Use this method to find out where a column will appear in the visible
-   * alignment when hidden columns exist. If the column is not visible, then the
-   * left-most visible column will always be returned.
-   * 
-   * @param hiddenColumn
-   *          the column index in the full alignment including hidden columns
-   * @return the position of the column in the visible alignment
+   * Unhides, and adds to the selection list, all hidden columns
    */
-  public int findColumnPosition(int hiddenColumn)
+  public void revealAllHiddenColumns(ColumnSelection sel)
   {
     try
     {
-      LOCK.readLock().lock();
-      int result = hiddenColumn;
-      int[] region = null;
-      if (hiddenColumns != null)
-      {
-        Iterator<int[]> it = new RegionsIterator(0,
-                hiddenColumn);
-        while (it.hasNext())
-        {
-          region = it.next();
-          if (hiddenColumn > region[1])
-          {
-            result -= region[1] + 1 - region[0];
-          }
-        }
+      LOCK.writeLock().lock();
 
-        if (region != null && hiddenColumn >= region[0]
-                && hiddenColumn <= region[1])
+      for (int[] region : hiddenColumns)
+      {
+        for (int j = region[0]; j < region[1] + 1; j++)
         {
-          // Here the hidden column is within a region, so
-          // we want to return the position of region[0]-1, adjusted for any
-          // earlier hidden columns.
-          // Calculate the difference between the actual hidden col position
-          // and region[0]-1, and then subtract from result to convert result
-          // from the adjusted hiddenColumn value to the adjusted region[0]-1
-          // value.
-
-          // However, if the region begins at 0 we cannot return region[0]-1
-          // just return 0
-          if (region[0] == 0)
-          {
-            return 0;
-          }
-          else
-          {
-            return result - (hiddenColumn - region[0] + 1);
-          }
+          sel.addElement(j);
         }
       }
-      return result; // return the shifted position after removing hidden
-                     // columns.
+      hiddenColumns.clear();
+      cursor.resetCursor(hiddenColumns);
+      numColumns = 0;
+
     } finally
     {
-      LOCK.readLock().unlock();
+      LOCK.writeLock().unlock();
     }
   }
 
   /**
-   * Find the visible column which is a given visible number of columns to the
-   * left of another visible column. i.e. for a startColumn x, the column which
-   * is distance 1 away will be column x-1.
+   * Reveals, and marks as selected, the hidden column range with the given
+   * start column
    * 
-   * @param visibleDistance
-   *          the number of visible columns to offset by
-   * @param startColumn
-   *          the column to start from
-   * @return the position of the column in the visible alignment
+   * @param start
+   *          the start column to look for
+   * @param sel
+   *          the column selection to add the hidden column range to
    */
-  public int subtractVisibleColumns(int visibleDistance, int startColumn)
+  public void revealHiddenColumns(int start, ColumnSelection sel)
   {
     try
     {
-      LOCK.readLock().lock();
-      int distance = visibleDistance;
-
-      // in case startColumn is in a hidden region, move it to the left
-      int start = adjustForHiddenColumns(findColumnPosition(startColumn));
-
-      Iterator<int[]> it = new ReverseRegionsIterator(0, start);
+      LOCK.writeLock().lock();
 
-      while (it.hasNext() && (distance > 0))
+      if (!hiddenColumns.isEmpty())
       {
-        int[] region = it.next();
+        int regionIndex = cursor.findRegionForColumn(start)
+                .getRegionIndex();
 
-        if (start > region[1])
+        if (regionIndex != -1 && regionIndex != hiddenColumns.size())
         {
-          // subtract the gap to right of region from distance
-          if (start - region[1] <= distance)
-          {
-            distance -= start - region[1];
-            start = region[0] - 1;
-          }
-          else
+          // regionIndex is the region which either contains start
+          // or lies to the right of start
+          int[] region = hiddenColumns.get(regionIndex);
+          if (start == region[0])
           {
-            start = start - distance;
-            distance = 0;
+            for (int j = region[0]; j < region[1] + 1; j++)
+            {
+              sel.addElement(j);
+            }
+            int colsToRemove = region[1] - region[0] + 1;
+            hiddenColumns.remove(regionIndex);
+
+            if (hiddenColumns.isEmpty())
+            {
+              hiddenColumns.clear();
+              numColumns = 0;
+            }
+            else
+            {
+              numColumns -= colsToRemove;
+            }
+            cursor.updateForDeletedRegion(hiddenColumns);
           }
         }
       }
-
-      return start - distance;
-
     } finally
     {
-      LOCK.readLock().unlock();
+      LOCK.writeLock().unlock();
     }
   }
 
   /**
-   * This method returns the rightmost limit of a region of an alignment with
-   * hidden columns. In otherwords, the next hidden column.
-   * 
-   * @param alPos
-   *          the (visible) alignmentPosition to find the next hidden column for
-   */
-  public int getHiddenBoundaryRight(int alPos)
-  {
-    try
-    {
-      LOCK.readLock().lock();
-      if (hiddenColumns != null)
-      {
-        Iterator<int[]> it = new RegionsIterator();
-        while (it.hasNext())
-        {
-          int[] region = it.next();
-          if (alPos < region[0])
-          {
-            return region[0];
-          }
-        }
-      }
-      return alPos;
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
-
-  /**
-   * This method returns the leftmost limit of a region of an alignment with
-   * hidden columns. In otherwords, the previous hidden column.
-   * 
-   * @param alPos
-   *          the (visible) alignmentPosition to find the previous hidden column
-   *          for
-   */
-  public int getHiddenBoundaryLeft(int alPos)
-  {
-    try
-    {
-      LOCK.readLock().lock();
-
-      Iterator<int[]> it = new ReverseRegionsIterator(0, alPos);
-      while (it.hasNext())
-      {
-        int[] region = it.next();
-        if (alPos > region[1])
-        {
-          return region[1];
-        }
-      }
-
-      return alPos;
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
-
-  /**
-   * Adds the specified column range to the hidden columns collection
-   * 
-   * @param start
-   *          start of range to add (absolute position in alignment)
-   * @param end
-   *          end of range to add (absolute position in alignment)
-   */
-  public void hideColumns(int start, int end)
-  {
-    boolean wasAlreadyLocked = false;
-    try
-    {
-      // check if the write lock was already locked by this thread,
-      // as this method can be called internally in loops within HiddenColumns
-      if (!LOCK.isWriteLockedByCurrentThread())
-      {
-        LOCK.writeLock().lock();
-      }
-      else
-      {
-        wasAlreadyLocked = true;
-      }
-
-      if (hiddenColumns == null)
-      {
-        hiddenColumns = new ArrayList<>();
-      }
-
-      /*
-       * new range follows everything else; check first to avoid looping over whole hiddenColumns collection
-       */
-      if (hiddenColumns.isEmpty()
-              || start > hiddenColumns.get(hiddenColumns.size() - 1)[1])
-      {
-        hiddenColumns.add(new int[] { start, end });
-      }
-      else
-      {
-        /*
-         * traverse existing hidden ranges and insert / amend / append as
-         * appropriate
-         */
-        boolean added = false;
-        for (int i = 0; !added && i < hiddenColumns.size(); i++)
-        {
-          added = insertRangeAtRegion(i, start, end);
-        } // for
-      }
-    } finally
-    {
-      if (!wasAlreadyLocked)
-      {
-        LOCK.writeLock().unlock();
-      }
-    }
-  }
-
-  private boolean insertRangeAtRegion(int i, int start, int end)
-  {
-    boolean added = false;
-
-    int[] region = hiddenColumns.get(i);
-    if (end < region[0] - 1)
-    {
-      /*
-       * insert discontiguous preceding range
-       */
-      hiddenColumns.add(i, new int[] { start, end });
-      added = true;
-    }
-    else if (end <= region[1])
-    {
-      /*
-       * new range overlaps existing, or is contiguous preceding it - adjust
-       * start column
-       */
-      region[0] = Math.min(region[0], start);
-      added = true;
-    }
-    else if (start <= region[1] + 1)
-    {
-      /*
-       * new range overlaps existing, or is contiguous following it - adjust
-       * start and end columns
-       */
-      region[0] = Math.min(region[0], start);
-      region[1] = Math.max(region[1], end);
-
-      /*
-       * also update or remove any subsequent ranges 
-       * that are overlapped
-       */
-      while (i < hiddenColumns.size() - 1)
-      {
-        int[] nextRegion = hiddenColumns.get(i + 1);
-        if (nextRegion[0] > end + 1)
-        {
-          /*
-           * gap to next hidden range - no more to update
-           */
-          break;
-        }
-        region[1] = Math.max(nextRegion[1], end);
-        hiddenColumns.remove(i + 1);
-      }
-      added = true;
-    }
-    return added;
-  }
-
-  /**
-   * Answers if a column in the alignment is visible
-   * 
-   * @param column
-   *          absolute position of column in the alignment
-   * @return true if column is visible
-   */
-  public boolean isVisible(int column)
-  {
-    try
-    {
-      LOCK.readLock().lock();
-
-      Iterator<int[]> it = new RegionsIterator();
-      while (it.hasNext())
-      {
-        int[] region = it.next();
-        if (column >= region[0] && column <= region[1])
-        {
-          return false;
-        }
-      }
-
-      return true;
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
-
-  /**
-   * Get the visible sections of a set of sequences
-   * 
-   * @param start
-   *          sequence position to start from
-   * @param end
-   *          sequence position to end at
-   * @param seqs
-   *          an array of sequences
-   * @return an array of strings encoding the visible parts of each sequence
-   */
-  public String[] getVisibleSequenceStrings(int start, int end,
-          SequenceI[] seqs)
-  {
-    try
-    {
-      LOCK.readLock().lock();
-      int iSize = seqs.length;
-      String[] selections = new String[iSize];
-      if (hiddenColumns != null && hiddenColumns.size() > 0)
-      {
-        for (int i = 0; i < iSize; i++)
-        {
-          StringBuffer visibleSeq = new StringBuffer();
-
-          Iterator<int[]> blocks = new VisibleContigsIterator(start,
-                  end + 1, false);
-
-          while (blocks.hasNext())
-          {
-            int[] block = blocks.next();
-            if (blocks.hasNext())
-            {
-              visibleSeq
-                      .append(seqs[i].getSequence(block[0], block[1] + 1));
-            }
-            else
-            {
-              visibleSeq
-                      .append(seqs[i].getSequence(block[0], block[1]));
-            }
-          }
-
-          selections[i] = visibleSeq.toString();
-        }
-      }
-      else
-      {
-        for (int i = 0; i < iSize; i++)
-        {
-          selections[i] = seqs[i].getSequenceAsString(start, end);
-        }
-      }
-
-      return selections;
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
-
-  /**
-   * Locate the first position visible for this sequence. If seq isn't visible
-   * then return the position of the left side of the hidden boundary region.
-   * 
-   * @param seq
-   *          sequence to find position for
-   * @return visible start position
-   */
-  public int locateVisibleStartOfSequence(SequenceI seq)
-  {
-    try
-    {
-      LOCK.readLock().lock();
-      int start = 0;
-
-      if (hiddenColumns == null || hiddenColumns.size() == 0)
-      {
-        return seq.findIndex(seq.getStart()) - 1;
-      }
-
-      // Simply walk along the sequence whilst watching for hidden column
-      // boundaries
-      Iterator<int[]> regions = new RegionsIterator();
-      int hideStart = seq.getLength();
-      int hideEnd = -1;
-      int visPrev = 0;
-      int visNext = 0;
-      boolean foundStart = false;
-
-      // step through the non-gapped positions of the sequence
-      for (int i = seq.getStart(); i <= seq.getEnd() && (!foundStart); i++)
-      {
-        // get alignment position of this residue in the sequence
-        int p = seq.findIndex(i) - 1;
-
-        // update hidden region start/end
-        while (hideEnd < p && regions.hasNext())
-        {
-          int[] region = regions.next();
-          visPrev = visNext;
-          visNext += region[0] - visPrev;
-          hideStart = region[0];
-          hideEnd = region[1];
-        }
-        if (hideEnd < p)
-        {
-          hideStart = seq.getLength();
-        }
-        // update visible boundary for sequence
-        if (p < hideStart)
-        {
-          start = p;
-          foundStart = true;
-        }
-      }
-
-      if (foundStart)
-      {
-        return findColumnPosition(start);
-      }
-      // otherwise, sequence was completely hidden
-      return visPrev;
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
-
-  /**
-   * delete any columns in alignmentAnnotation that are hidden (including
-   * sequence associated annotation).
-   * 
-   * @param alignmentAnnotation
-   */
-  public void makeVisibleAnnotation(AlignmentAnnotation alignmentAnnotation)
-  {
-    makeVisibleAnnotation(0, alignmentAnnotation.annotations.length,
-            alignmentAnnotation);
-  }
-
-  /**
-   * delete any columns in alignmentAnnotation that are hidden (including
-   * sequence associated annotation).
-   * 
-   * @param start
-   *          remove any annotation to the right of this column
-   * @param end
-   *          remove any annotation to the left of this column
-   * @param alignmentAnnotation
-   *          the annotation to operate on
-   */
-  public void makeVisibleAnnotation(int start, int end,
-          AlignmentAnnotation alignmentAnnotation)
-  {
-    try
-    {
-      LOCK.readLock().lock();
-
-      int startFrom = start;
-      int endAt = end;
-
-      if (alignmentAnnotation.annotations != null)
-      {
-        if (hiddenColumns != null && hiddenColumns.size() > 0)
-        {
-          removeHiddenAnnotation(startFrom, endAt, alignmentAnnotation);
-        }
-        else
-        {
-          alignmentAnnotation.restrict(startFrom, endAt);
-        }
-      }
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
-
-  private void removeHiddenAnnotation(int start, int end,
-          AlignmentAnnotation alignmentAnnotation)
-  {
-    // mangle the alignmentAnnotation annotation array
-    ArrayList<Annotation[]> annels = new ArrayList<>();
-    Annotation[] els = null;
-
-    int w = 0;
-    
-    Iterator<int[]> blocks = new VisibleContigsIterator(start, end + 1,
-            false);
-
-    int copylength;
-    int annotationLength;
-    while (blocks.hasNext())
-    {
-      int[] block = blocks.next();
-      annotationLength = block[1] - block[0] + 1;
-    
-      if (blocks.hasNext())
-      {
-        // copy just the visible segment of the annotation row
-        copylength = annotationLength;
-      }
-      else
-      {
-        if (annotationLength + block[0] <= alignmentAnnotation.annotations.length)
-        {
-          // copy just the visible segment of the annotation row
-          copylength = annotationLength;
-        }
-        else
-        {
-          // copy to the end of the annotation row
-          copylength = alignmentAnnotation.annotations.length - block[0];
-        }
-      }
-      
-      els = new Annotation[annotationLength];
-      annels.add(els);
-      System.arraycopy(alignmentAnnotation.annotations, block[0], els, 0,
-              copylength);
-      w += annotationLength;
-    }
-    
-    if (w != 0)
-    {
-      alignmentAnnotation.annotations = new Annotation[w];
-
-      w = 0;
-      for (Annotation[] chnk : annels)
-      {
-        System.arraycopy(chnk, 0, alignmentAnnotation.annotations, w,
-                chnk.length);
-        w += chnk.length;
-      }
-    }
-  }
-
-  /**
-   * 
-   * @return true if there are columns hidden
-   */
-  public boolean hasHiddenColumns()
-  {
-    try
-    {
-      LOCK.readLock().lock();
-      return hiddenColumns != null && hiddenColumns.size() > 0;
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
-
-  /**
-   * 
-   * @return true if there are more than one set of columns hidden
-   */
-  public boolean hasManyHiddenColumns()
-  {
-    try
-    {
-      LOCK.readLock().lock();
-      return hiddenColumns != null && hiddenColumns.size() > 1;
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
-
-  /**
-   * mark the columns corresponding to gap characters as hidden in the column
-   * selection
-   * 
-   * @param sr
-   */
-  public void hideInsertionsFor(SequenceI sr)
-  {
-    try
-    {
-      LOCK.writeLock().lock();
-      List<int[]> inserts = sr.getInsertions();
-      for (int[] r : inserts)
-      {
-        hideColumns(r[0], r[1]);
-      }
-    } finally
-    {
-      LOCK.writeLock().unlock();
-    }
-  }
-
-  /**
-   * Unhides, and adds to the selection list, all hidden columns
-   */
-  public void revealAllHiddenColumns(ColumnSelection sel)
-  {
-    try
-    {
-      LOCK.writeLock().lock();
-      Iterator<int[]> it = new RegionsIterator();
-      while (it.hasNext())
-      {
-        int[] region = it.next();
-        for (int j = region[0]; j < region[1] + 1; j++)
-        {
-          sel.addElement(j);
-        }
-      }
-
-      hiddenColumns = null;
-    } finally
-    {
-      LOCK.writeLock().unlock();
-    }
-  }
-
-  /**
-   * Reveals, and marks as selected, the hidden column range with the given
-   * start column
-   * 
-   * @param start
-   */
-  public void revealHiddenColumns(int start, ColumnSelection sel)
-  {
-    try
-    {
-      LOCK.writeLock().lock();
-      Iterator<int[]> it = new RegionsIterator();
-      while (it.hasNext())
-      {
-        int[] region = it.next();
-        if (start == region[0])
-        {
-          for (int j = region[0]; j < region[1] + 1; j++)
-          {
-            sel.addElement(j);
-          }
-
-          hiddenColumns.remove(region);
-          break;
-        }
-        else if (start < region[0])
-        {
-          break; // passed all possible matching regions
-        }
-      }
-
-      if (hiddenColumns.size() == 0)
-      {
-        hiddenColumns = null;
-      }
-    } finally
-    {
-      LOCK.writeLock().unlock();
-    }
-  }
-
-  /**
-   * Add gaps into the sequences aligned to profileseq under the given
-   * AlignmentView
+   * Add gaps into the sequences aligned to profileseq under the given
+   * AlignmentView
    * 
    * @param profileseq
+   *          sequence in al which sequences are aligned to
    * @param al
-   *          - alignment to have gaps inserted into it
+   *          alignment to have gaps inserted into it
    * @param input
-   *          - alignment view where sequence corresponding to profileseq is
-   *          first entry
+   *          alignment view where sequence corresponding to profileseq is first
+   *          entry
    * @return new HiddenColumns for new alignment view, with insertions into
    *         profileseq marked as hidden.
    */
@@ -974,11 +426,11 @@ public class HiddenColumns
   /**
    * 
    * @param profileseq
-   *          - sequence in al which corresponds to origseq
+   *          sequence in al which corresponds to origseq
    * @param al
-   *          - alignment which is to have gaps inserted into it
+   *          alignment which is to have gaps inserted into it
    * @param origseq
-   *          - sequence corresponding to profileseq which defines gap map for
+   *          sequence corresponding to profileseq which defines gap map for
    *          modifying al
    */
   private void propagateInsertions(SequenceI profileseq, AlignmentI al,
@@ -993,33 +445,24 @@ public class HiddenColumns
       // take the set of hidden columns, and the set of gaps in origseq,
       // and remove all the hidden gaps from hiddenColumns
 
-      // first get the gaps as a Bitset
+      // first get the non-gaps as a Bitset
+      // then calculate hidden ^ not(gap)
       BitSet gaps = origseq.gapBitset();
-
-      // now calculate hidden ^ not(gap)
-      BitSet hidden = new BitSet();
-      markHiddenRegions(hidden);
-      hidden.andNot(gaps);
-      hiddenColumns = null;
-      this.hideMarkedBits(hidden);
+      this.andNot(gaps);
 
       // for each sequence in the alignment, except the profile sequence,
-      // insert gaps corresponding to each hidden region
-      // but where each hidden column region is shifted backwards by the number
-      // of
-      // preceding visible gaps
-      // update hidden columns at the same time
-      Iterator<int[]> regions = new RegionsIterator();
-      ArrayList<int[]> newhidden = new ArrayList<>();
+      // insert gaps corresponding to each hidden region but where each hidden
+      // column region is shifted backwards by the number of preceding visible
+      // gaps update hidden columns at the same time
+      List<int[]> newhidden = new ArrayList<>();
 
       int numGapsBefore = 0;
       int gapPosition = 0;
-      while (regions.hasNext())
+      for (int[] region : hiddenColumns)
       {
         // get region coordinates accounting for gaps
         // we can rely on gaps not being *in* hidden regions because we already
         // removed those
-        int[] region = regions.next();
         while (gapPosition < region[0])
         {
           gapPosition++;
@@ -1034,7 +477,7 @@ public class HiddenColumns
         newhidden.add(new int[] { left, right });
 
         // make a string with number of gaps = length of hidden region
-        StringBuffer sb = new StringBuffer();
+        StringBuilder sb = new StringBuilder();
         for (int s = 0; s < right - left + 1; s++)
         {
           sb.append(gc);
@@ -1043,6 +486,8 @@ public class HiddenColumns
 
       }
       hiddenColumns = newhidden;
+      cursor.resetCursor(hiddenColumns);
+      numColumns = 0;
     } finally
     {
       LOCK.writeLock().unlock();
@@ -1061,7 +506,7 @@ public class HiddenColumns
    * @param al
    *          alignment to pad sequences in
    */
-  private void padGaps(StringBuffer sb, int pos, SequenceI profileseq,
+  private void padGaps(StringBuilder sb, int pos, SequenceI profileseq,
           AlignmentI al)
   {
     // loop over the sequences and pad with gaps where required
@@ -1104,24 +549,45 @@ public class HiddenColumns
     }
   }
 
+  /*
+   * Methods which only need read access to the hidden columns collection. 
+   * These methods should use a readLock to prevent other threads changing
+   * the hidden columns collection while it is in use.
+   */
+
   /**
-   * Returns a hashCode built from hidden column ranges
+   * Output regions data as a string. String is in the format:
+   * reg0[0]<between>reg0[1]<delimiter>reg1[0]<between>reg1[1] ... regn[1]
+   * 
+   * @param delimiter
+   *          string to delimit regions
+   * @param betweenstring
+   *          to put between start and end region values
+   * @return regions formatted according to delimiter and between strings
    */
-  @Override
-  public int hashCode()
+  public String regionsToString(String delimiter, String between)
   {
     try
     {
       LOCK.readLock().lock();
-      int hashCode = 1;
-      Iterator<int[]> it = new RegionsIterator();
-      while (it.hasNext())
+      StringBuilder regionBuilder = new StringBuilder();
+
+      boolean first = true;
+      for (int[] range : hiddenColumns)
       {
-        int[] hidden = it.next();
-        hashCode = HASH_MULTIPLIER * hashCode + hidden[0];
-        hashCode = HASH_MULTIPLIER * hashCode + hidden[1];
+        if (!first)
+        {
+          regionBuilder.append(delimiter);
+        }
+        else
+        {
+          first = false;
+        }
+        regionBuilder.append(range[0]).append(between).append(range[1]);
+
       }
-      return hashCode;
+
+      return regionBuilder.toString();
     } finally
     {
       LOCK.readLock().unlock();
@@ -1129,139 +595,112 @@ public class HiddenColumns
   }
 
   /**
-   * Hide columns corresponding to the marked bits
+   * Find the number of hidden columns
    * 
-   * @param inserts
-   *          - columns map to bits starting from zero
+   * @return number of hidden columns
    */
-  public void hideMarkedBits(BitSet inserts)
+  public int getSize()
   {
     try
     {
-      LOCK.writeLock().lock();
-      for (int firstSet = inserts
-              .nextSetBit(0), lastSet = 0; firstSet >= 0; firstSet = inserts
-                      .nextSetBit(lastSet))
+      LOCK.readLock().lock();
+
+      if (numColumns == 0)
       {
-        lastSet = inserts.nextClearBit(firstSet);
-        hideColumns(firstSet, lastSet - 1);
+        // numColumns is out of date, so recalculate
+        int size = 0;
+
+        for (int[] range : hiddenColumns)
+        {
+          size += range[1] - range[0] + 1;
+        }
+
+        numColumns = size;
       }
+
+      return numColumns;
     } finally
     {
-      LOCK.writeLock().unlock();
+      LOCK.readLock().unlock();
     }
   }
 
   /**
+   * Get the number of distinct hidden regions
    * 
-   * @param inserts
-   *          BitSet where hidden columns will be marked
+   * @return number of regions
    */
-  public void markHiddenRegions(BitSet inserts)
+  public int getNumberOfRegions()
   {
     try
     {
       LOCK.readLock().lock();
-      if (hiddenColumns == null)
-      {
-        return;
-      }
-      Iterator<int[]> it = new RegionsIterator();
-      while (it.hasNext())
-      {
-        int[] range = it.next();
-        inserts.set(range[0], range[1] + 1);
-      }
+      return hiddenColumns.size();
     } finally
     {
       LOCK.readLock().unlock();
     }
   }
 
-  /**
-   * Calculate the visible start and end index of an alignment.
-   * 
-   * @param width
-   *          full alignment width
-   * @return integer array where: int[0] = startIndex, and int[1] = endIndex
-   */
-  public int[] getVisibleStartAndEndIndex(int width)
+  @Override
+  public boolean equals(Object obj)
   {
     try
     {
       LOCK.readLock().lock();
-      int[] alignmentStartEnd = new int[] { 0, width - 1 };
-      int startPos = alignmentStartEnd[0];
-      int endPos = alignmentStartEnd[1];
-
-      int[] lowestRange = new int[] { -1, -1 };
-      int[] higestRange = new int[] { -1, -1 };
 
-      if (hiddenColumns == null)
+      if (!(obj instanceof HiddenColumns))
       {
-        return new int[] { startPos, endPos };
+        return false;
       }
+      HiddenColumns that = (HiddenColumns) obj;
 
-      Iterator<int[]> it = new RegionsIterator();
-      while (it.hasNext())
-      {
-        int[] range = it.next();
-        lowestRange = (range[0] <= startPos) ? range : lowestRange;
-        higestRange = (range[1] >= endPos) ? range : higestRange;
-      }
+      /*
+       * check hidden columns are either both null, or match
+       */
 
-      if (lowestRange[0] == -1 && lowestRange[1] == -1)
-      {
-        startPos = alignmentStartEnd[0];
-      }
-      else
+      if (that.hiddenColumns.size() != this.hiddenColumns.size())
       {
-        startPos = lowestRange[1] + 1;
+        return false;
       }
 
-      if (higestRange[0] == -1 && higestRange[1] == -1)
-      {
-        endPos = alignmentStartEnd[1];
-      }
-      else
+      Iterator<int[]> it = this.iterator();
+      Iterator<int[]> thatit = that.iterator();
+      while (it.hasNext())
       {
-        endPos = higestRange[0] - 1;
+        if (!(Arrays.equals(it.next(), thatit.next())))
+        {
+          return false;
+        }
       }
-      return new int[] { startPos, endPos };
+      return true;
+
     } finally
     {
       LOCK.readLock().unlock();
     }
-
   }
 
   /**
-   * Finds the hidden region (if any) which starts or ends at res
+   * Return absolute column index for a visible column index
    * 
-   * @param res
-   *          visible residue position, unadjusted for hidden columns
-   * @return region as [start,end] or null if no matching region is found
+   * @param column
+   *          int column index in alignment view (count from zero)
+   * @return alignment column index for column
    */
-  public int[] getRegionWithEdgeAtRes(int res)
+  public int visibleToAbsoluteColumn(int column)
   {
     try
     {
       LOCK.readLock().lock();
-      int adjres = adjustForHiddenColumns(res);
+      int result = column;
 
-      int[] reveal = null;
-      Iterator<int[]> it = new RegionsIterator(adjres - 2,
-              adjres + 2);
-      while (it.hasNext())
+      if (!hiddenColumns.isEmpty())
       {
-        int[] region = it.next();
-        if (adjres + 1 == region[0] || adjres - 1 == region[1])
-        {
-          reveal = region;
-          break;
-        }
+        result += cursor.findRegionForVisColumn(column).getHiddenSoFar();
       }
-      return reveal;
+
+      return result;
     } finally
     {
       LOCK.readLock().unlock();
@@ -1269,830 +708,738 @@ public class HiddenColumns
   }
 
   /**
-   * Return an iterator over the hidden regions
-   */
-  public Iterator<int[]> iterator()
-  {
-    return new BoundedHiddenColsIterator();
-  }
-
-  /**
-   * Return a bounded iterator over the hidden regions
+   * Use this method to find out where a column will appear in the visible
+   * alignment when hidden columns exist. If the column is not visible, then the
+   * index of the next visible column on the left will be returned (or 0 if
+   * there is no visible column on the left)
    * 
-   * @param start
-   *          position to start from (inclusive, absolute column position)
-   * @param end
-   *          position to end at (inclusive, absolute column position)
-   * @return
+   * @param hiddenColumn
+   *          the column index in the full alignment including hidden columns
+   * @return the position of the column in the visible alignment
    */
-  public Iterator<int[]> getBoundedIterator(int start, int end)
+  public int absoluteToVisibleColumn(int hiddenColumn)
   {
-    return new BoundedHiddenColsIterator(start, end);
-  }
+    try
+    {
+      LOCK.readLock().lock();
+      int result = hiddenColumn;
 
-  /**
-   * Return a bounded iterator over the *visible* start positions of hidden
-   * regions
-   * 
-   * @param start
-   *          position to start from (inclusive, visible column position)
-   * @param end
-   *          position to end at (inclusive, visible column position)
-   */
-  public Iterator<Integer> getBoundedStartIterator(int start, int end)
-  {
-    return new BoundedStartRegionIterator(start, end, true);
-  }
+      if (!hiddenColumns.isEmpty())
+      {
+        HiddenCursorPosition cursorPos = cursor
+                .findRegionForColumn(hiddenColumn);
+        int index = cursorPos.getRegionIndex();
+        int hiddenBeforeCol = cursorPos.getHiddenSoFar();
+    
+        // just subtract hidden cols count - this works fine if column is
+        // visible
+        result = hiddenColumn - hiddenBeforeCol;
+    
+        // now check in case column is hidden - it will be in the returned
+        // hidden region
+        if (index < hiddenColumns.size())
+        {
+          int[] region = hiddenColumns.get(index);
+          if (hiddenColumn >= region[0] && hiddenColumn <= region[1])
+          {
+            // actually col is hidden, return region[0]-1
+            // unless region[0]==0 in which case return 0
+            if (region[0] == 0)
+            {
+              result = 0;
+            }
+            else
+            {
+              result = region[0] - 1 - hiddenBeforeCol;
+            }
+          }
+        }
+      }
 
-  /**
-   * Return an iterator over visible *columns* (not regions) between the given
-   * start and end boundaries
-   * 
-   * @param start
-   *          first column (inclusive)
-   * @param end
-   *          last column (inclusive)
-   */
-  public Iterator<Integer> getVisibleColsIterator(int start, int end)
-  {
-    return new VisibleColsIterator(start, end);
+      return result; // return the shifted position after removing hidden
+                     // columns.
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
   }
 
   /**
-   * return an iterator over visible segments between the given start and end
-   * boundaries
+   * Find the visible column which is a given visible number of columns to the
+   * left (negative visibleDistance) or right (positive visibleDistance) of
+   * startColumn. If startColumn is not visible, we use the visible column at
+   * the left boundary of the hidden region containing startColumn.
    * 
-   * @param start
-   *          (first column inclusive from 0)
-   * @param end
-   *          (last column - not inclusive)
+   * @param visibleDistance
+   *          the number of visible columns to offset by (left offset = negative
+   *          value; right offset = positive value)
+   * @param startColumn
+   *          the position of the column to start from (absolute position)
+   * @return the position of the column which is <visibleDistance> away
+   *         (absolute position)
    */
-  public Iterator<int[]> getVisContigsIterator(int start, int end)
+  public int offsetByVisibleColumns(int visibleDistance, int startColumn)
   {
-    // return new VisibleBlocksIterator(start, end, true)
-    return new VisibleContigsIterator(start, end, true);
+    try
+    {
+      LOCK.readLock().lock();
+      int start = absoluteToVisibleColumn(startColumn);
+      return visibleToAbsoluteColumn(start + visibleDistance);
+
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
   }
 
   /**
-   * return an iterator over visible segments between the given start and end
-   * boundaries
+   * This method returns the rightmost limit of a region of an alignment with
+   * hidden columns. In otherwords, the next hidden column.
    * 
-   * @param start
-   *          (first column - inclusive from 0)
-   * @param end
-   *          (last column - inclusive)
-   * @param useVisibleCoords
-   *          if true, start and end are visible column positions, not absolute
-   *          positions
+   * @param alPos
+   *          the absolute (visible) alignmentPosition to find the next hidden
+   *          column for
+   * @return the index of the next hidden column, or alPos if there is no next
+   *         hidden column
    */
-  public Iterator<int[]> getVisibleBlocksIterator(int start, int end,
-          boolean useVisibleCoords)
+  public int getHiddenBoundaryRight(int alPos)
   {
-    if (useVisibleCoords)
+    try
     {
-      // TODO
-      // we should really just convert start and end here with
-      // adjustForHiddenColumns
-      // and then create a VisibleContigsIterator
-      // but without a cursor this will be horribly slow in some situations
-      // ... so until then...
-      return new VisibleBlocksVisBoundsIterator(start, end, true);
-    }
-    else
+      LOCK.readLock().lock();
+      if (!hiddenColumns.isEmpty())
+      {
+        int index = cursor.findRegionForColumn(alPos).getRegionIndex();
+        if (index < hiddenColumns.size())
+        {
+          int[] region = hiddenColumns.get(index);
+          if (alPos < region[0])
+          {
+            return region[0];
+          }
+          else if ((alPos <= region[1])
+                  && (index + 1 < hiddenColumns.size()))
+          {
+            // alPos is within a hidden region, return the next one
+            // if there is one
+            region = hiddenColumns.get(index + 1);
+            return region[0];
+          }
+        }
+      }
+      return alPos;
+    } finally
     {
-      return new VisibleContigsIterator(start, end - 1, true);
+      LOCK.readLock().unlock();
     }
   }
 
   /**
-   * A local iterator which iterates over hidden column regions in a range.
-   * Intended for use ONLY within the HiddenColumns class, because it works
-   * directly with the hiddenColumns collection without locking (callers should
-   * lock hiddenColumns).
+   * This method returns the leftmost limit of a region of an alignment with
+   * hidden columns. In otherwords, the previous hidden column.
+   * 
+   * @param alPos
+   *          the absolute (visible) alignmentPosition to find the previous
+   *          hidden column for
    */
-  private class RegionsIterator implements Iterator<int[]>
+  public int getHiddenBoundaryLeft(int alPos)
   {
-    // start position to iterate from
-    private int start;
-
-    // end position to iterate to
-    private int end;
-
-    // current index in hiddenColumns
-    private int currentPosition = 0;
+    try
+    {
+      LOCK.readLock().lock();
 
-    // current column in hiddenColumns
-    private int[] nextRegion = null;
+      if (!hiddenColumns.isEmpty())
+      {
+        int index = cursor.findRegionForColumn(alPos).getRegionIndex();
 
-    // Constructor with bounds
-    RegionsIterator(int lowerBound, int upperBound)
+        if (index > 0)
+        {
+          int[] region = hiddenColumns.get(index - 1);
+          return region[1];
+        }
+      }
+      return alPos;
+    } finally
     {
-      init(lowerBound, upperBound);
+      LOCK.readLock().unlock();
     }
+  }
 
-    // Unbounded constructor
-    RegionsIterator()
+
+  /**
+   * Answers if a column in the alignment is visible
+   * 
+   * @param column
+   *          absolute position of column in the alignment
+   * @return true if column is visible
+   */
+  public boolean isVisible(int column)
+  {
+    try
     {
-      if (hiddenColumns != null)
-      {
-        // iterator over full hiddenColumns collection
-        int last = hiddenColumns.get(hiddenColumns.size() - 1)[1];
-        init(0, last);
-      }
-      else
-      {
-        // empty iterator
-        init(0, 0);
-      }
-    }
+      LOCK.readLock().lock();
 
-    /**
-     * Construct an iterator over hiddenColums bounded at
-     * [lowerBound,upperBound]
-     * 
-     * @param lowerBound
-     *          lower bound to iterate from
-     * @param upperBound
-     *          upper bound to iterate to
-     */
-    private void init(int lowerBound, int upperBound)
-    {
-      start = lowerBound;
-      end = upperBound;
-
-      if (hiddenColumns != null)
+      int regionindex = cursor.findRegionForColumn(column).getRegionIndex();
+      if (regionindex > -1 && regionindex < hiddenColumns.size())
       {
-        // iterate until a region overlaps with [start,end]
-        currentPosition = 0;
-        while ((currentPosition < hiddenColumns.size())
-                && (hiddenColumns.get(currentPosition)[1] < start))
-        {
-          currentPosition++;
-        }
-        if (currentPosition < hiddenColumns.size())
+        int[] region = hiddenColumns.get(regionindex);
+        // already know that column <= region[1] as cursor returns containing
+        // region or region to right
+        if (column >= region[0])
         {
-          nextRegion = hiddenColumns.get(currentPosition);
+          return false;
         }
       }
-    }
+      return true;
 
-    @Override
-    public boolean hasNext()
+    } finally
     {
-      return (hiddenColumns != null) && (nextRegion != null)
-              && (nextRegion[0] <= end);
+      LOCK.readLock().unlock();
     }
+  }
 
-    @Override
-    public int[] next()
+  /**
+   * Get the visible sections of a set of sequences
+   * 
+   * @param start
+   *          sequence position to start from
+   * @param end
+   *          sequence position to end at
+   * @param seqs
+   *          an array of sequences
+   * @return an array of strings encoding the visible parts of each sequence
+   */
+  public String[] getVisibleSequenceStrings(int start, int end,
+          SequenceI[] seqs)
+  {
+    try
     {
-      int[] region = nextRegion;
-      currentPosition++;
-      if (currentPosition < hiddenColumns.size())
+      LOCK.readLock().lock();
+      int iSize = seqs.length;
+      String[] selections = new String[iSize];
+      if (!hiddenColumns.isEmpty())
       {
-        nextRegion = hiddenColumns.get(currentPosition);
+        for (int i = 0; i < iSize; i++)
+        {
+          StringBuilder visibleSeq = new StringBuilder();
+
+          Iterator<int[]> blocks = new VisibleContigsIterator(start,
+                  end + 1, hiddenColumns);
+
+          while (blocks.hasNext())
+          {
+            int[] block = blocks.next();
+            if (blocks.hasNext())
+            {
+              visibleSeq
+                      .append(seqs[i].getSequence(block[0], block[1] + 1));
+            }
+            else
+            {
+              visibleSeq
+                      .append(seqs[i].getSequence(block[0], block[1]));
+            }
+          }
+
+          selections[i] = visibleSeq.toString();
+        }
       }
       else
       {
-        nextRegion = null;
+        for (int i = 0; i < iSize; i++)
+        {
+          selections[i] = seqs[i].getSequenceAsString(start, end);
+        }
       }
-      return region;
-    }
 
+      return selections;
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
   }
 
   /**
-   * A local iterator which reverse iterates over hidden column regions in a
-   * range. Intended for use ONLY within the HiddenColumns class, because it
-   * works directly with the hiddenColumns collection without locking (callers
-   * should lock hiddenColumns).
+   * Locate the first position visible for this sequence. If seq isn't visible
+   * then return the position of the left side of the hidden boundary region.
+   * 
+   * @param seq
+   *          sequence to find position for
+   * @return visible start position
    */
-  private class ReverseRegionsIterator implements Iterator<int[]>
+  public int locateVisibleStartOfSequence(SequenceI seq)
   {
-    // start position to iterate to
-    private int start;
-
-    // end position to iterate from
-    private int end;
-
-    // current index in hiddenColumns
-    private int currentPosition = 0;
+    try
+    {
+      LOCK.readLock().lock();
+      int start = 0;
 
-    // current column in hiddenColumns
-    private int[] nextRegion = null;
+      if (hiddenColumns.isEmpty())
+      {
+        return seq.findIndex(seq.getStart()) - 1;
+      }
 
-    // Constructor with bounds
-    ReverseRegionsIterator(int lowerBound, int upperBound)
-    {
-      init(lowerBound, upperBound);
-    }
+      // Simply walk along the sequence whilst watching for hidden column
+      // boundaries
+      Iterator<int[]> regions = hiddenColumns.iterator();
+      int hideStart = seq.getLength();
+      int hideEnd = -1;
+      int visPrev = 0;
+      int visNext = 0;
+      boolean foundStart = false;
 
-    /**
-     * Construct an iterator over hiddenColums bounded at
-     * [lowerBound,upperBound]
-     * 
-     * @param lowerBound
-     *          lower bound to iterate to
-     * @param upperBound
-     *          upper bound to iterate from
-     */
-    private void init(int lowerBound, int upperBound)
-    {
-      start = lowerBound;
-      end = upperBound;
-
-      if (hiddenColumns != null)
+      // step through the non-gapped positions of the sequence
+      for (int i = seq.getStart(); i <= seq.getEnd() && (!foundStart); i++)
       {
-        // iterate until a region overlaps with [start,end]
-        currentPosition = hiddenColumns.size() - 1;
-        while (currentPosition >= 0
-                && hiddenColumns.get(currentPosition)[1] > end)
+        // get alignment position of this residue in the sequence
+        int p = seq.findIndex(i) - 1;
+
+        // update hidden region start/end
+        while (hideEnd < p && regions.hasNext())
+        {
+          int[] region = regions.next();
+          visPrev = visNext;
+          visNext += region[0] - visPrev;
+          hideStart = region[0];
+          hideEnd = region[1];
+        }
+        if (hideEnd < p)
         {
-          currentPosition--;
+          hideStart = seq.getLength();
         }
-        if (currentPosition >= 0)
+        // update visible boundary for sequence
+        if (p < hideStart)
         {
-          nextRegion = hiddenColumns.get(currentPosition);
+          start = p;
+          foundStart = true;
         }
       }
-    }
-
-    @Override
-    public boolean hasNext()
-    {
-      return (hiddenColumns != null) && (nextRegion != null)
-              && (nextRegion[1] >= start);
-    }
 
-    @Override
-    public int[] next()
-    {
-      int[] region = nextRegion;
-      currentPosition--;
-      if (currentPosition >= 0)
-      {
-        nextRegion = hiddenColumns.get(currentPosition);
-      }
-      else
+      if (foundStart)
       {
-        nextRegion = null;
+        return absoluteToVisibleColumn(start);
       }
-      return region;
+      // otherwise, sequence was completely hidden
+      return visPrev;
+    } finally
+    {
+      LOCK.readLock().unlock();
     }
-
   }
 
+
   /**
-   * An iterator which iterates over hidden column regions in a range. Works
-   * with a copy of the hidden columns collection. Intended to be used by
-   * callers OUTSIDE of HiddenColumns.
+   * 
+   * @return true if there are columns hidden
    */
-  private class BoundedHiddenColsIterator implements Iterator<int[]>
+  public boolean hasHiddenColumns()
   {
-    // start position to iterate from
-    private int start;
-
-    // end position to iterate to
-    private int end;
+    try
+    {
+      LOCK.readLock().lock();
 
-    // current index in hiddenColumns
-    private int currentPosition = 0;
+      // we don't use getSize()>0 here because it has to iterate over
+      // the full hiddenColumns collection and so will be much slower
+      return (!hiddenColumns.isEmpty());
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
+  }
 
-    // current column in hiddenColumns
-    private int[] currentRegion;
+  /**
+   * 
+   * @return true if there is more than one hidden column region
+   */
+  public boolean hasMultiHiddenColumnRegions()
+  {
+    try
+    {
+      LOCK.readLock().lock();
+      return !hiddenColumns.isEmpty() && hiddenColumns.size() > 1;
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
+  }
 
-    // local copy or reference to hiddenColumns
-    private List<int[]> localHidden;
 
-    /**
-     * Unbounded constructor
-     */
-    BoundedHiddenColsIterator()
+  /**
+   * Returns a hashCode built from hidden column ranges
+   */
+  @Override
+  public int hashCode()
+  {
+    try
     {
-      if (hiddenColumns != null)
-      {
-        int last = hiddenColumns.get(hiddenColumns.size() - 1)[1];
-        init(0, last);
-      }
-      else
+      LOCK.readLock().lock();
+      int hashCode = 1;
+      for (int[] hidden : hiddenColumns)
       {
-        init(0, 0);
+        hashCode = HASH_MULTIPLIER * hashCode + hidden[0];
+        hashCode = HASH_MULTIPLIER * hashCode + hidden[1];
       }
+      return hashCode;
+    } finally
+    {
+      LOCK.readLock().unlock();
     }
+  }
 
-    /**
-     * Construct an iterator over hiddenColums bounded at
-     * [lowerBound,upperBound]
-     * 
-     * @param lowerBound
-     *          lower bound to iterate from
-     * @param upperBound
-     *          upper bound to iterate to
-     */
-    BoundedHiddenColsIterator(int lowerBound, int upperBound)
-    {
-      init(lowerBound, upperBound);
-    }
-
-    /**
-     * Construct an iterator over hiddenColums bounded at
-     * [lowerBound,upperBound]
-     * 
-     * @param lowerBound
-     *          lower bound to iterate from
-     * @param upperBound
-     *          upper bound to iterate to
-     */
-    private void init(int lowerBound, int upperBound)
-    {
-      start = lowerBound;
-      end = upperBound;
-
-      try
-      {
-        LOCK.readLock().lock();
-        
-        if (hiddenColumns != null)
-        {
-          localHidden = new ArrayList<>();
-
-          // iterate until a region overlaps with [start,end]
-          int i = 0;
-          while ((i < hiddenColumns.size())
-                  && (hiddenColumns.get(i)[1] < start))
-          {
-            i++;
-          }
-
-          // iterate from start to end, adding each hidden region. Positions are
-          // absolute, and all regions which *overlap* [start,end] are added.
-          while (i < hiddenColumns.size()
-                  && (hiddenColumns.get(i)[0] <= end))
-          {
-            int[] rh = hiddenColumns.get(i);
-            int[] cp = new int[2];
-            System.arraycopy(rh, 0, cp, 0, rh.length);
-            localHidden.add(cp);
-            i++;
-          }
-        }
-      }
-      finally
+  /**
+   * Hide columns corresponding to the marked bits
+   * 
+   * @param inserts
+   *          - columns mapped to bits starting from zero
+   */
+  public void hideColumns(BitSet inserts)
+  {
+    try
+    {
+      LOCK.writeLock().lock();
+      for (int firstSet = inserts
+              .nextSetBit(0), lastSet = 0; firstSet >= 0; firstSet = inserts
+                      .nextSetBit(lastSet))
       {
-        LOCK.readLock().unlock();
+        lastSet = inserts.nextClearBit(firstSet);
+        hideColumns(firstSet, lastSet - 1);
       }
-    }
-
-    @Override
-    public boolean hasNext()
+      cursor.resetCursor(hiddenColumns);
+      numColumns = 0;
+    } finally
     {
-      return (localHidden != null)
-              && (currentPosition < localHidden.size());
+      LOCK.writeLock().unlock();
     }
+  }
+
+  /**
+   * Hide columns corresponding to the marked bits, within the range
+   * [start,end]. Entries in tohide which are outside [start,end] are ignored.
+   * 
+   * @param tohide
+   *          columns mapped to bits starting from zero
+   * @param start
+   *          start of range to hide columns within
+   * @param end
+   *          end of range to hide columns within
+   */
+  public void hideColumns(BitSet tohide, int start, int end)
+  {
+    clearHiddenColumnsInRange(start, end);
 
-    @Override
-    public int[] next()
+    // make sure only bits between start and end are set
+    if (!tohide.isEmpty())
     {
-      currentRegion = localHidden.get(currentPosition);
-      currentPosition++;
-      return currentRegion;
+      tohide.clear(0, start);
+      tohide.clear(Math.min(end + 1, tohide.length() + 1),
+              tohide.length() + 1);
     }
+
+    hideColumns(tohide);
   }
 
   /**
-   * An iterator which iterates over visible start positions of hidden column
-   * regions in a range.
+   * Make all columns in the range [start,end] visible
+   * 
+   * @param start
+   *          start of range to show columns
+   * @param end
+   *          end of range to show columns
    */
-  private class BoundedStartRegionIterator implements Iterator<Integer>
+  private void clearHiddenColumnsInRange(int start, int end)
   {
-    // start position to iterate from
-    private int start;
-
-    // end position to iterate to
-    private int end;
-
-    // current index in hiddenColumns
-    private int currentPosition = 0;
-
-    // local copy or reference to hiddenColumns
-    private List<Integer> positions = null;
-
-    /**
-     * Construct an iterator over hiddenColums bounded at
-     * [lowerBound,upperBound]
-     * 
-     * @param lowerBound
-     *          lower bound to iterate from
-     * @param upperBound
-     *          upper bound to iterate to
-     * @param useCopyCols
-     *          whether to make a local copy of hiddenColumns for iteration (set
-     *          to true if calling from outwith the HiddenColumns class)
-     */
-    BoundedStartRegionIterator(int lowerBound, int upperBound,
-            boolean useCopy)
-    {
-      start = lowerBound;
-      end = upperBound;
+    try
+    {
+      LOCK.writeLock().lock();
       
-      try
+      if (!hiddenColumns.isEmpty())
       {
-        if (useCopy)
-        {
-          // assume that if useCopy is false the calling code has locked
-          // hiddenColumns
-          LOCK.readLock().lock();
-        }
+        HiddenCursorPosition pos = cursor.findRegionForColumn(start);
+        int index = pos.getRegionIndex();
+        int startindex = index; // first index in hiddenColumns to remove
 
-        if (hiddenColumns != null)
+        if (index != -1 && index != hiddenColumns.size())
         {
-          positions = new ArrayList<>(hiddenColumns.size());
-
-          // navigate to start, keeping count of hidden columns
-          int i = 0;
-          int hiddenSoFar = 0;
-          while ((i < hiddenColumns.size())
-                  && (hiddenColumns.get(i)[0] < start + hiddenSoFar))
+          // regionIndex is the region which either contains start
+          // or lies to the right of start
+          int[] region = hiddenColumns.get(index);
+          if (region[0] < start && region[1] >= start)
           {
-            int[] region = hiddenColumns.get(i);
-            hiddenSoFar += region[1] - region[0] + 1;
-            i++;
+            // region contains start, truncate so that it ends just before start
+            region[1] = start - 1;
+            startindex++;
           }
+        }
+
+        pos = cursor.findRegionForColumn(end);
+        index = pos.getRegionIndex();
+        int endindex = index - 1; // last index in hiddenColumns to remove
 
-          // iterate from start to end, adding start positions of each
-          // hidden region. Positions are visible columns count, not absolute
-          while (i < hiddenColumns.size()
-                  && (hiddenColumns.get(i)[0] <= end + hiddenSoFar))
+        if (index != -1 && index != hiddenColumns.size())
+        {
+          // regionIndex is the region which either contains end
+          // or lies to the right of end
+          int[] region = hiddenColumns.get(index);
+          if (region[0] <= end && region[1] > end)
           {
-            int[] region = hiddenColumns.get(i);
-            positions.add(region[0] - hiddenSoFar);
-            hiddenSoFar += region[1] - region[0] + 1;
-            i++;
+            // region contains end, truncate so that it starts just after end
+            region[0] = end + 1;
           }
         }
-        else
-        {
-          positions = new ArrayList<>();
-        }
-      } finally
-      {
-        if (useCopy)
-        {
-          LOCK.readLock().unlock();
-        }
-      }
-    }
-
-    @Override
-    public boolean hasNext()
-    {
-      return (currentPosition < positions.size());
-    }
 
-    /**
-     * Get next hidden region start position
-     * 
-     * @return the start position in *visible* coordinates
-     */
-    @Override
-    public Integer next()
+        hiddenColumns.subList(startindex, endindex + 1).clear();
+        cursor.resetCursor(hiddenColumns);
+        numColumns = 0;
+      }
+    } finally
     {
-      int result = positions.get(currentPosition);
-      currentPosition++;
-      return result;
+      LOCK.writeLock().unlock();
     }
   }
 
   /**
-   * Iterator over the visible *columns* (not regions) as determined by the set
-   * of hidden columns. Uses a local copy of hidden columns.
    * 
-   * @author kmourao
-   *
+   * @param inserts
+   *          BitSet where hidden columns will be marked
    */
-  private class VisibleColsIterator implements Iterator<Integer>
+  private void andNot(BitSet updates)
   {
-    private int last;
-
-    private int current;
-
-    private int next;
-
-    private List<int[]> localHidden = new ArrayList<>();
-
-    private int nexthiddenregion;
-
-    VisibleColsIterator(int firstcol, int lastcol)
+    try
     {
-      last = lastcol;
-      current = firstcol;
-      next = firstcol;
-      nexthiddenregion = 0;
-
       LOCK.readLock().lock();
 
-      if (hiddenColumns != null)
+      BitSet hiddenBitSet = new BitSet();
+      for (int[] range : hiddenColumns)
       {
-        int i = 0;
-        for (i = 0; i < hiddenColumns.size()
-                && (current <= hiddenColumns.get(i)[0]); ++i)
-        {
-          if (current >= hiddenColumns.get(i)[0]
-                  && current <= hiddenColumns.get(i)[1])
-          {
-            // current is hidden, move to right
-            current = hiddenColumns.get(i)[1] + 1;
-            next = current;
-            nexthiddenregion = i + 1;
-          }
-        }
-
-        for (i = hiddenColumns.size() - 1; i >= 0
-                && (last >= hiddenColumns.get(i)[1]); --i)
-        {
-          if (last >= hiddenColumns.get(i)[0]
-                  && last <= hiddenColumns.get(i)[1])
-          {
-            // last is hidden, move to left
-            last = hiddenColumns.get(i)[0] - 1;
-          }
-        }
-
-        // make a local copy of the bit we need
-        i = nexthiddenregion;
-        while (i < hiddenColumns.size() && hiddenColumns.get(i)[0] <= last)
-        {
-          int[] region = new int[] { hiddenColumns.get(i)[0],
-              hiddenColumns.get(i)[1] };
-          localHidden.add(region);
-          i++;
-        }
+        hiddenBitSet.set(range[0], range[1] + 1);
       }
-
+      hiddenBitSet.andNot(updates);
+      hiddenColumns.clear();
+      hideColumns(hiddenBitSet);
+    } finally
+    {
       LOCK.readLock().unlock();
     }
+  }
 
-    @Override
-    public boolean hasNext()
+  /**
+   * Calculate the visible start and end index of an alignment.
+   * 
+   * @param width
+   *          full alignment width
+   * @return integer array where: int[0] = startIndex, and int[1] = endIndex
+   */
+  public int[] getVisibleStartAndEndIndex(int width)
+  {
+    try
     {
-      return next <= last;
-    }
+      LOCK.readLock().lock();
+      int[] alignmentStartEnd = new int[] { 0, width - 1 };
+      int startPos = alignmentStartEnd[0];
+      int endPos = alignmentStartEnd[1];
 
-    @Override
-    public Integer next()
-    {
-      if (next > last)
+      int[] lowestRange = new int[] { -1, -1 };
+      int[] higestRange = new int[] { -1, -1 };
+
+      if (hiddenColumns.isEmpty())
       {
-        throw new NoSuchElementException();
+        return new int[] { startPos, endPos };
       }
-      current = next;
-      if ((localHidden != null)
-              && (nexthiddenregion < localHidden.size()))
+
+      for (int[] range : hiddenColumns)
       {
-        // still some more hidden regions
-        if (next + 1 < localHidden.get(nexthiddenregion)[0])
-        {
-          // next+1 is still before the next hidden region
-          next++;
-        }
-        else if ((next + 1 >= localHidden.get(nexthiddenregion)[0])
-                && (next + 1 <= localHidden.get(nexthiddenregion)[1]))
-        {
-          // next + 1 is in the next hidden region
-          next = localHidden.get(nexthiddenregion)[1] + 1;
-          nexthiddenregion++;
-        }
+        lowestRange = (range[0] <= startPos) ? range : lowestRange;
+        higestRange = (range[1] >= endPos) ? range : higestRange;
+      }
+
+      if (lowestRange[0] == -1) // includes (lowestRange[1] == -1)
+      {
+        startPos = alignmentStartEnd[0];
       }
       else
       {
-        // finished with hidden regions, just increment normally
-        next++;
+        startPos = lowestRange[1] + 1;
       }
-      return current;
-    }
 
-    @Override
-    public void remove()
+      if (higestRange[0] == -1) // includes (higestRange[1] == -1)
+      {
+        endPos = alignmentStartEnd[1];
+      }
+      else
+      {
+        endPos = higestRange[0] - 1;
+      }
+      return new int[] { startPos, endPos };
+    } finally
     {
-      throw new UnsupportedOperationException();
+      LOCK.readLock().unlock();
     }
   }
 
   /**
-   * An iterator which iterates over visible regions in a range.
+   * Finds the hidden region (if any) which starts or ends at res
+   * 
+   * @param res
+   *          visible residue position, unadjusted for hidden columns
+   * @return region as [start,end] or null if no matching region is found. If
+   *         res is adjacent to two regions, returns the left region.
    */
-  private class VisibleContigsIterator implements Iterator<int[]>
+  public int[] getRegionWithEdgeAtRes(int res)
   {
-    private List<int[]> vcontigs = new ArrayList<>();
-
-    private int currentPosition = 0;
-
-    VisibleContigsIterator(int start, int end, boolean usecopy)
+    try
     {
-      try
-      {
-        if (usecopy)
-        {
-          LOCK.readLock().lock();
-        }
-
-        if (hiddenColumns != null && hiddenColumns.size() > 0)
-        {
-          int vstart = start;
-          int hideStart;
-          int hideEnd;
-
-          for (int[] region : hiddenColumns)
-          {
-            hideStart = region[0];
-            hideEnd = region[1];
-
-            // navigate to start
-            if (hideEnd < vstart)
-            {
-              continue;
-            }
-            if (hideStart > vstart)
-            {
-              int[] contig = new int[] { vstart, hideStart - 1 };
-              vcontigs.add(contig);
-            }
-            vstart = hideEnd + 1;
+      LOCK.readLock().lock();
+      int adjres = visibleToAbsoluteColumn(res);
 
-            // exit if we're past the end
-            if (vstart >= end)
-            {
-              break;
-            }
-          }
+      int[] reveal = null;
 
-          if (vstart < end)
-          {
-            int[] contig = new int[] { vstart, end - 1 };
-            vcontigs.add(contig);
-          }
-        }
-        else
+      if (!hiddenColumns.isEmpty())
+      {
+        // look for a region ending just before adjres
+        int regionindex = cursor.findRegionForColumn(adjres - 1)
+                .getRegionIndex();
+        if (regionindex < hiddenColumns.size()
+                && hiddenColumns.get(regionindex)[1] == adjres - 1)
         {
-          int[] contig = new int[] { start, end - 1 };
-          vcontigs.add(contig);
+          reveal = hiddenColumns.get(regionindex);
         }
-      } finally
-      {
-        if (usecopy)
+        // check if the region ends just after adjres
+        else if (regionindex < hiddenColumns.size()
+                && hiddenColumns.get(regionindex)[0] == adjres + 1)
         {
-          LOCK.readLock().unlock();
+          reveal = hiddenColumns.get(regionindex);
         }
       }
-    }
+      return reveal;
 
-    @Override
-    public boolean hasNext()
+    } finally
     {
-      return (currentPosition < vcontigs.size());
+      LOCK.readLock().unlock();
     }
+  }
 
-    @Override
-    public int[] next()
+  /**
+   * Return an iterator over the hidden regions
+   */
+  public Iterator<int[]> iterator()
+  {
+    try
     {
-      int[] result = vcontigs.get(currentPosition);
-      currentPosition++;
-      return result;
+      LOCK.readLock().lock();
+      return new HiddenColsIterator(hiddenColumns);
+    } finally
+    {
+      LOCK.readLock().unlock();
     }
   }
 
   /**
-   * An iterator which iterates over visible regions in a range. The range is
-   * specified in terms of visible column positions. Provides a special
-   * "endsAtHidden" indicator to allow callers to determine if the final visible
-   * column is adjacent to a hidden region.
+   * Return a bounded iterator over the hidden regions
+   * 
+   * @param start
+   *          position to start from (inclusive, absolute column position)
+   * @param end
+   *          position to end at (inclusive, absolute column position)
+   * @return
    */
-  public class VisibleBlocksVisBoundsIterator implements Iterator<int[]>
+  public Iterator<int[]> getBoundedIterator(int start, int end)
   {
-    private List<int[]> vcontigs = new ArrayList<>();
-
-    private int currentPosition = 0;
-
-    private boolean endsAtHidden = false;
-
-    /**
-     * Constructor for iterator over visible regions in a range.
-     * 
-     * @param start
-     *          start position in terms of visible column position
-     * @param end
-     *          end position in terms of visible column position
-     * @param usecopy
-     *          whether to use a local copy of hidden columns
-     */
-    VisibleBlocksVisBoundsIterator(int start, int end, boolean usecopy)
-    {
-      /* actually this implementation always uses a local copy but this may change in future */
-      try
-      {
-        if (usecopy)
-        {
-          LOCK.readLock().lock();
-        }
-
-        if (hiddenColumns != null && hiddenColumns.size() > 0)
-        {
-          int blockStart = start;
-          int blockEnd = end;
-          int hiddenSoFar = 0;
-          int visSoFar = 0;
-
-          // iterate until a region begins within (start,end]
-          int i = 0;
-          while ((i < hiddenColumns.size())
-                  && (hiddenColumns.get(i)[0] <= blockStart + hiddenSoFar))
-          {
-            hiddenSoFar += hiddenColumns.get(i)[1] - hiddenColumns.get(i)[0]
-                    + 1;
-            i++;
-          }
-
-          blockStart += hiddenSoFar; // convert start to absolute position
-          blockEnd += hiddenSoFar; // convert end to absolute position
-
-          // iterate from start to end, adding each visible region. Positions
-          // are
-          // absolute, and all hidden regions which overlap [start,end] are
-          // used.
-          while (i < hiddenColumns.size()
-                  && (hiddenColumns.get(i)[0] <= blockEnd))
-          {
-            int[] region = hiddenColumns.get(i);
-
-            // end position of this visible region is either just before the
-            // start of the next hidden region, or the absolute position of
-            // 'end', whichever is lowest
-            blockEnd = Math.min(blockEnd, region[0] - 1);
-
-            vcontigs.add(new int[] { blockStart, blockEnd });
-
-            visSoFar += blockEnd - blockStart + 1;
+    try
+    {
+      LOCK.readLock().lock();
+      return new HiddenColsIterator(start, end, hiddenColumns);
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
+  }
 
-            // next visible region starts after this hidden region
-            blockStart = region[1] + 1;
+  /**
+   * Return a bounded iterator over the *visible* start positions of hidden
+   * regions
+   * 
+   * @param start
+   *          position to start from (inclusive, visible column position)
+   * @param end
+   *          position to end at (inclusive, visible column position)
+   */
+  public Iterator<Integer> getBoundedStartIterator(int start, int end)
+  {
+    try
+    {
+      LOCK.readLock().lock();
 
-            hiddenSoFar += region[1] - region[0] + 1;
+      // get absolute position of column in alignment
+      int absoluteStart = visibleToAbsoluteColumn(start);
 
-            // reset blockEnd to absolute position of 'end', assuming we've now
-            // passed all hidden regions before end
-            blockEnd = end + hiddenSoFar;
+      // Get cursor position and supply it to the iterator:
+      // Since we want visible region start, we look for a cursor for the
+      // (absoluteStart-1), then if absoluteStart is the start of a visible
+      // region we'll get the cursor pointing to the region before, which is
+      // what we want
+      HiddenCursorPosition pos = cursor
+              .findRegionForColumn(absoluteStart - 1);
 
-            i++;
-          }
-          if (visSoFar < end - start)
-          {
-            // the number of visible columns we've accounted for is less than
-            // the number specified by end-start; work out the end position of
-            // the last visible region
-            blockEnd = blockStart + end - start - visSoFar;
-            vcontigs.add(new int[] { blockStart, blockEnd });
-
-            // if the last visible region ends at the next hidden region, set
-            // endsAtHidden=true
-            if (i < hiddenColumns.size()
-                    && hiddenColumns.get(i)[0] - 1 == blockEnd)
-            {
-              endsAtHidden = true;
-            }
-          }
-        }
-        else
-        {
-          // there are no hidden columns, return a single visible contig
-          vcontigs.add(new int[] { start, end });
-          endsAtHidden = false;
-        }
-      } finally
-      {
-        if (usecopy)
-        {
-          LOCK.readLock().unlock();
-        }
-      }
+      return new BoundedStartRegionIterator(pos, start, end,
+              hiddenColumns);
+    } finally
+    {
+      LOCK.readLock().unlock();
     }
+  }
 
-    @Override
-    public boolean hasNext()
+  /**
+   * Return an iterator over visible *columns* (not regions) between the given
+   * start and end boundaries
+   * 
+   * @param start
+   *          first column (inclusive)
+   * @param end
+   *          last column (inclusive)
+   */
+  public Iterator<Integer> getVisibleColsIterator(int start, int end)
+  {
+    try
+    {
+      LOCK.readLock().lock();
+      return new VisibleColsIterator(start, end, hiddenColumns);
+    } finally
     {
-      return (currentPosition < vcontigs.size());
+      LOCK.readLock().unlock();
     }
+  }
 
-    @Override
-    public int[] next()
+  /**
+   * return an iterator over visible segments between the given start and end
+   * boundaries
+   * 
+   * @param start
+   *          first column, inclusive from 0
+   * @param end
+   *          last column - not inclusive
+   * @param useVisibleCoords
+   *          if true, start and end are visible column positions, not absolute
+   *          positions*
+   */
+  public VisibleContigsIterator getVisContigsIterator(int start,
+          int end,
+          boolean useVisibleCoords)
+  {
+    int adjstart = start;
+    int adjend = end;
+    if (useVisibleCoords)
     {
-      int[] result = vcontigs.get(currentPosition);
-      currentPosition++;
-      return result;
+      adjstart = visibleToAbsoluteColumn(start);
+      adjend = visibleToAbsoluteColumn(end);
     }
 
-    public boolean endsAtHidden()
+    try
     {
-      return endsAtHidden;
+      LOCK.readLock().lock();
+      return new VisibleContigsIterator(adjstart, adjend, hiddenColumns);
+    } finally
+    {
+      LOCK.readLock().unlock();
     }
   }
 }