JAL-2759 improvements to speed up synchronisation; caching of size
[jalview.git] / src / jalview / datamodel / HiddenColumns.java
index b6e6ce3..0a4d04b 100644 (file)
  */
 package jalview.datamodel;
 
-import jalview.util.Comparison;
-
 import java.util.ArrayList;
 import java.util.BitSet;
 import java.util.Iterator;
 import java.util.List;
-import java.util.NoSuchElementException;
-import java.util.Vector;
 import java.util.concurrent.locks.ReentrantReadWriteLock;
 
 public class HiddenColumns
@@ -36,6 +32,10 @@ public class HiddenColumns
 
   private static final ReentrantReadWriteLock LOCK = new ReentrantReadWriteLock();
 
+  private HiddenColumnsCursor cursor = new HiddenColumnsCursor();
+
+  private int numColumns = 0;
+
   /*
    * list of hidden column [start, end] ranges; the list is maintained in
    * ascending start column order
@@ -63,7 +63,13 @@ public class HiddenColumns
       {
         if (copy.hiddenColumns != null)
         {
-          hiddenColumns = copy.copyHiddenRegionsToArrayList(0);
+          hiddenColumns = new ArrayList<>();
+          Iterator<int[]> it = copy.iterator();
+          while (it.hasNext())
+          {
+            hiddenColumns.add(it.next());
+          }
+          cursor.resetCursor(hiddenColumns);
         }
       }
     } finally
@@ -95,6 +101,7 @@ public class HiddenColumns
       if (copy != null)
       {
         hiddenColumns = new ArrayList<>();
+        numColumns = 0;
         Iterator<int[]> it = copy.getBoundedIterator(start, end);
         while (it.hasNext())
         {
@@ -106,8 +113,10 @@ public class HiddenColumns
             hiddenColumns.add(
                     new int[]
             { region[0] - offset, region[1] - offset });
+            numColumns += region[1] - region[0] + 1;
           }
         }
+        cursor.resetCursor(hiddenColumns);
       }
     } finally
     {
@@ -133,13 +142,17 @@ public class HiddenColumns
       StringBuilder regionBuilder = new StringBuilder();
       if (hiddenColumns != null)
       {
-        for (int[] range : hiddenColumns)
+        Iterator<int[]> it = hiddenColumns.iterator();
+        while (it.hasNext())
         {
+          int[] range = it.next();
           regionBuilder.append(delimiter).append(range[0]).append(between)
                   .append(range[1]);
+          if (!it.hasNext())
+          {
+            regionBuilder.deleteCharAt(0);
+          }
         }
-
-        regionBuilder.deleteCharAt(0);
       }
       return regionBuilder.toString();
     } finally
@@ -158,15 +171,24 @@ public class HiddenColumns
     try
     {
       LOCK.readLock().lock();
-      int size = 0;
-      if (hasHiddenColumns())
+
+      if (numColumns == 0 && hiddenColumns != null)
       {
-        for (int[] range : hiddenColumns)
+        // numColumns is out of date, so recalculate
+        int size = 0;
+        if (hiddenColumns != null)
         {
-          size += range[1] - range[0] + 1;
+          Iterator<int[]> it = hiddenColumns.iterator();
+          while (it.hasNext())
+          {
+            int[] range = it.next();
+            size += range[1] - range[0] + 1;
+          }
         }
+        numColumns = size;
       }
-      return size;
+
+      return numColumns;
     } finally
     {
       LOCK.readLock().unlock();
@@ -220,10 +242,13 @@ public class HiddenColumns
       {
         return false;
       }
-      int i = 0;
-      for (int[] thisRange : hiddenColumns)
+
+      Iterator<int[]> it = hiddenColumns.iterator();
+      Iterator<int[]> thatit = that.iterator();
+      while (it.hasNext())
       {
-        int[] thatRange = that.hiddenColumns.get(i++);
+        int[] thisRange = it.next();
+        int[] thatRange = thatit.next();
         if (thisRange[0] != thatRange[0] || thisRange[1] != thatRange[1])
         {
           return false;
@@ -249,17 +274,12 @@ public class HiddenColumns
     {
       LOCK.readLock().lock();
       int result = column;
+
       if (hiddenColumns != null)
       {
-        for (int i = 0; i < hiddenColumns.size(); i++)
-        {
-          int[] region = hiddenColumns.get(i);
-          if (result >= region[0])
-          {
-            result += region[1] - region[0] + 1;
-          }
-        }
+        result += cursor.getHiddenOffset(column).getHiddenSoFar();
       }
+
       return result;
     } finally
     {
@@ -282,42 +302,39 @@ public class HiddenColumns
     {
       LOCK.readLock().lock();
       int result = hiddenColumn;
+
       if (hiddenColumns != null)
       {
-        int index = 0;
-        int[] region;
-        do
-        {
-          region = hiddenColumns.get(index++);
-          if (hiddenColumn > region[1])
-          {
-            result -= region[1] + 1 - region[0];
-          }
-        } while ((hiddenColumn > region[1])
-                && (index < hiddenColumns.size()));
-
-        if (hiddenColumn >= region[0] && hiddenColumn <= region[1])
+        HiddenCursorPosition cursorPos = cursor
+                .findRegionForColumn(hiddenColumn);
+        int index = cursorPos.getRegionIndex();
+        int hiddenBeforeCol = cursorPos.getHiddenSoFar();
+    
+        // just subtract hidden cols count - this works fine if column is
+        // visible
+        result = hiddenColumn - hiddenBeforeCol;
+    
+        // now check in case column is hidden - it will be in the returned
+        // hidden region
+        if (index < hiddenColumns.size())
         {
-          // Here the hidden column is within a region, so
-          // we want to return the position of region[0]-1, adjusted for any
-          // earlier hidden columns.
-          // Calculate the difference between the actual hidden col position
-          // and region[0]-1, and then subtract from result to convert result
-          // from
-          // the adjusted hiddenColumn value to the adjusted region[0]-1 value
-
-          // However, if the region begins at 0 we cannot return region[0]-1
-          // just return 0
-          if (region[0] == 0)
-          {
-            return 0;
-          }
-          else
+          int[] region = hiddenColumns.get(index);
+          if (hiddenColumn >= region[0] && hiddenColumn <= region[1])
           {
-            return result - (hiddenColumn - region[0] + 1);
+            // actually col is hidden, return region[0]-1
+            // unless region[0]==0 in which case return 0
+            if (region[0] == 0)
+            {
+              result = 0;
+            }
+            else
+            {
+              result = region[0] - 1 - hiddenBeforeCol;
+            }
           }
         }
       }
+
       return result; // return the shifted position after removing hidden
                      // columns.
     } finally
@@ -341,64 +358,50 @@ public class HiddenColumns
   {
     try
     {
-
       LOCK.readLock().lock();
       int distance = visibleDistance;
 
       // in case startColumn is in a hidden region, move it to the left
       int start = adjustForHiddenColumns(findColumnPosition(startColumn));
 
-      // get index of hidden region to left of start
-      int index = getHiddenIndexLeft(start);
-      if (index == -1)
-      {
-        // no hidden regions to left of startColumn
-        return start - distance;
-      }
-
-      // walk backwards through the alignment subtracting the counts of visible
-      // columns from distance
-      int[] region;
-      int gap = 0;
-      int nextstart = start;
+      Iterator<int[]> it = new ReverseRegionsIterator(0, start,
+              hiddenColumns);
 
-      while ((index > -1) && (distance - gap > 0))
+      while (it.hasNext() && (distance > 0))
       {
-        // subtract the gap to right of region from distance
-        distance -= gap;
-        start = nextstart;
+        int[] region = it.next();
 
-        // calculate the next gap
-        region = hiddenColumns.get(index);
-        gap = start - region[1];
-
-        // set start to just to left of current region
-        nextstart = region[0] - 1;
-        index--;
+        if (start > region[1])
+        {
+          // subtract the gap to right of region from distance
+          if (start - region[1] <= distance)
+          {
+            distance -= start - region[1];
+            start = region[0] - 1;
+          }
+          else
+          {
+            start = start - distance;
+            distance = 0;
+          }
+        }
       }
 
-      if (distance - gap > 0)
-      {
-        // fell out of loop because there are no more hidden regions
-        distance -= gap;
-        return nextstart - distance;
-      }
       return start - distance;
+
     } finally
     {
       LOCK.readLock().unlock();
     }
-
   }
 
-
-
   /**
    * This method returns the rightmost limit of a region of an alignment with
    * hidden columns. In otherwords, the next hidden column.
    * 
-   * @param index
-   *          int
+   * @param alPos
+   *          the absolute (visible) alignmentPosition to find the next hidden
+   *          column for
    */
   public int getHiddenBoundaryRight(int alPos)
   {
@@ -407,33 +410,38 @@ public class HiddenColumns
       LOCK.readLock().lock();
       if (hiddenColumns != null)
       {
-        int index = 0;
-        do
+        int index = cursor.findRegionForColumn(alPos).getRegionIndex();
+        if (index < hiddenColumns.size())
         {
           int[] region = hiddenColumns.get(index);
           if (alPos < region[0])
           {
             return region[0];
           }
-
-          index++;
-        } while (index < hiddenColumns.size());
+          else if ((alPos <= region[1])
+                  && (index + 1 < hiddenColumns.size()))
+          {
+            // alPos is within a hidden region, return the next one
+            // if there is one
+            region = hiddenColumns.get(index + 1);
+            return region[0];
+          }
+        }
       }
-
       return alPos;
     } finally
     {
       LOCK.readLock().unlock();
     }
-
   }
 
   /**
    * This method returns the leftmost limit of a region of an alignment with
    * hidden columns. In otherwords, the previous hidden column.
    * 
-   * @param index
-   *          int
+   * @param alPos
+   *          the absolute (visible) alignmentPosition to find the previous
+   *          hidden column for
    */
   public int getHiddenBoundaryLeft(int alPos)
   {
@@ -443,68 +451,28 @@ public class HiddenColumns
 
       if (hiddenColumns != null)
       {
-        int index = hiddenColumns.size() - 1;
-        do
-        {
-          int[] region = hiddenColumns.get(index);
-          if (alPos > region[1])
-          {
-            return region[1];
-          }
-
-          index--;
-        } while (index > -1);
-      }
-
-      return alPos;
-    } finally
-    {
-      LOCK.readLock().unlock();
-    }
-  }
-
-  /**
-   * This method returns the index of the hidden region to the left of a column
-   * position. If the column is in a hidden region it returns the index of the
-   * region to the left. If there is no hidden region to the left it returns -1.
-   * 
-   * @param pos
-   *          int
-   */
-  private int getHiddenIndexLeft(int pos)
-  {
-    try
-    {
+        int index = cursor.findRegionForColumn(alPos).getRegionIndex();
 
-      LOCK.readLock().lock();
-      if (hiddenColumns != null)
-      {
-        int index = hiddenColumns.size() - 1;
-        do
+        if (index > 0)
         {
-          int[] region = hiddenColumns.get(index);
-          if (pos > region[1])
-          {
-            return index;
-          }
-
-          index--;
-        } while (index > -1);
+          int[] region = hiddenColumns.get(index - 1);
+          return region[1];
+        }
       }
-
-      return -1;
+      return alPos;
     } finally
     {
       LOCK.readLock().unlock();
     }
-
   }
 
   /**
-   * Adds the specified column range to the hidden columns
+   * Adds the specified column range to the hidden columns collection
    * 
    * @param start
+   *          start of range to add (absolute position in alignment)
    * @param end
+   *          end of range to add (absolute position in alignment)
    */
   public void hideColumns(int start, int end)
   {
@@ -528,66 +496,32 @@ public class HiddenColumns
       }
 
       /*
-       * traverse existing hidden ranges and insert / amend / append as
-       * appropriate
+       * new range follows everything else; check first to avoid looping over whole hiddenColumns collection
        */
-      for (int i = 0; i < hiddenColumns.size(); i++)
+      if (hiddenColumns.isEmpty()
+              || start > hiddenColumns.get(hiddenColumns.size() - 1)[1])
       {
-        int[] region = hiddenColumns.get(i);
-
-        if (end < region[0] - 1)
-        {
-          /*
-           * insert discontiguous preceding range
-           */
-          hiddenColumns.add(i, new int[] { start, end });
-          return;
-        }
-
-        if (end <= region[1])
-        {
-          /*
-           * new range overlaps existing, or is contiguous preceding it - adjust
-           * start column
-           */
-          region[0] = Math.min(region[0], start);
-          return;
-        }
-
-        if (start <= region[1] + 1)
+        hiddenColumns.add(new int[] { start, end });
+      }
+      else
+      {
+        /*
+         * traverse existing hidden ranges and insert / amend / append as
+         * appropriate
+         */
+        boolean added = false;
+        for (int i = 0; !added && i < hiddenColumns.size(); i++)
         {
-          /*
-           * new range overlaps existing, or is contiguous following it - adjust
-           * start and end columns
-           */
-          region[0] = Math.min(region[0], start);
-          region[1] = Math.max(region[1], end);
-
-          /*
-           * also update or remove any subsequent ranges 
-           * that are overlapped
-           */
-          while (i < hiddenColumns.size() - 1)
-          {
-            int[] nextRegion = hiddenColumns.get(i + 1);
-            if (nextRegion[0] > end + 1)
-            {
-              /*
-               * gap to next hidden range - no more to update
-               */
-              break;
-            }
-            region[1] = Math.max(nextRegion[1], end);
-            hiddenColumns.remove(i + 1);
-          }
-          return;
-        }
+          added = insertRangeAtRegion(i, start, end);
+        } // for
       }
+      if (!wasAlreadyLocked)
+      {
+        cursor.resetCursor(hiddenColumns);
 
-      /*
-       * remaining case is that the new range follows everything else
-       */
-      hiddenColumns.add(new int[] { start, end });
+        // reset the number of columns so they will be recounted
+        numColumns = 0;
+      }
     } finally
     {
       if (!wasAlreadyLocked)
@@ -597,55 +531,112 @@ public class HiddenColumns
     }
   }
 
-  public boolean isVisible(int column)
+  /**
+   * Insert [start, range] at the region at index i in hiddenColumns, if
+   * feasible
+   * 
+   * @param i
+   *          index to insert at
+   * @param start
+   *          start of range to insert
+   * @param end
+   *          end of range to insert
+   * @return true if range was successfully inserted
+   */
+  private boolean insertRangeAtRegion(int i, int start, int end)
   {
-    try
+    boolean added = false;
+
+    int[] region = hiddenColumns.get(i);
+    if (end < region[0] - 1)
     {
-      LOCK.readLock().lock();
+      /*
+       * insert discontiguous preceding range
+       */
+      hiddenColumns.add(i, new int[] { start, end });
+      added = true;
+    }
+    else if (end <= region[1])
+    {
+      /*
+       * new range overlaps existing, or is contiguous preceding it - adjust
+       * start column
+       */
+      region[0] = Math.min(region[0], start);
+      added = true;
+    }
+    else if (start <= region[1] + 1)
+    {
+      /*
+       * new range overlaps existing, or is contiguous following it - adjust
+       * start and end columns
+       */
+      region[0] = Math.min(region[0], start);
+      region[1] = Math.max(region[1], end);
 
-      if (hiddenColumns != null)
+      /*
+       * also update or remove any subsequent ranges 
+       * that are overlapped
+       */
+      while (i < hiddenColumns.size() - 1)
       {
-        for (int[] region : hiddenColumns)
+        int[] nextRegion = hiddenColumns.get(i + 1);
+        if (nextRegion[0] > end + 1)
         {
-          if (column >= region[0] && column <= region[1])
-          {
-            return false;
-          }
+          /*
+           * gap to next hidden range - no more to update
+           */
+          break;
         }
+        region[1] = Math.max(nextRegion[1], end);
+        hiddenColumns.subList(i + 1, i + 2).clear();
       }
-
-      return true;
-    } finally
-    {
-      LOCK.readLock().unlock();
+      added = true;
     }
+    return added;
   }
 
-  private ArrayList<int[]> copyHiddenRegionsToArrayList(int startIndex)
+  /**
+   * Answers if a column in the alignment is visible
+   * 
+   * @param column
+   *          absolute position of column in the alignment
+   * @return true if column is visible
+   */
+  public boolean isVisible(int column)
   {
-    int size = 0;
-    if (hiddenColumns != null)
+    try
     {
-      size = hiddenColumns.size();
-    }
-    ArrayList<int[]> copy = new ArrayList<>(size);
+      LOCK.readLock().lock();
 
-    for (int i = startIndex, j = size; i < j; i++)
-    {
-      int[] rh;
-      int[] cp;
-      rh = hiddenColumns.get(i);
-      if (rh != null)
+      int regionindex = cursor.findRegionForColumn(column).getRegionIndex();
+      if (regionindex > -1 && regionindex < hiddenColumns.size())
       {
-        cp = new int[rh.length];
-        System.arraycopy(rh, 0, cp, 0, rh.length);
-        copy.add(cp);
+        int[] region = hiddenColumns.get(regionindex);
+        if (column >= region[0] && column <= region[1])
+        {
+          return false;
+        }
       }
-    }
+      return true;
 
-    return copy;
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
   }
 
+  /**
+   * Get the visible sections of a set of sequences
+   * 
+   * @param start
+   *          sequence position to start from
+   * @param end
+   *          sequence position to end at
+   * @param seqs
+   *          an array of sequences
+   * @return an array of strings encoding the visible parts of each sequence
+   */
   public String[] getVisibleSequenceStrings(int start, int end,
           SequenceI[] seqs)
   {
@@ -660,12 +651,22 @@ public class HiddenColumns
         {
           StringBuffer visibleSeq = new StringBuffer();
 
-          Iterator<int[]> blocks = new VisibleBlocksIterator(start,
-                  end, false);
+          Iterator<int[]> blocks = new VisibleContigsIterator(start,
+                  end + 1, hiddenColumns);
+
           while (blocks.hasNext())
           {
             int[] block = blocks.next();
-            visibleSeq.append(seqs[i].getSequence(block[0], block[1]));
+            if (blocks.hasNext())
+            {
+              visibleSeq
+                      .append(seqs[i].getSequence(block[0], block[1] + 1));
+            }
+            else
+            {
+              visibleSeq
+                      .append(seqs[i].getSequence(block[0], block[1]));
+            }
           }
 
           selections[i] = visibleSeq.toString();
@@ -687,88 +688,67 @@ public class HiddenColumns
   }
 
   /**
-   * Locate the first and last position visible for this sequence. if seq isn't
-   * visible then return the position of the left and right of the hidden
-   * boundary region, and the corresponding alignment column indices for the
-   * extent of the sequence
+   * Locate the first position visible for this sequence. If seq isn't visible
+   * then return the position of the left side of the hidden boundary region.
    * 
    * @param seq
-   * @return int[] { visible start, visible end, first seqpos, last seqpos,
-   *         alignment index for seq start, alignment index for seq end }
+   *          sequence to find position for
+   * @return visible start position
    */
-  public int[] locateVisibleBoundsOfSequence(SequenceI seq)
+  public int locateVisibleStartOfSequence(SequenceI seq)
   {
     try
     {
       LOCK.readLock().lock();
-      int fpos = seq.getStart();
-      int lpos = seq.getEnd();
       int start = 0;
 
       if (hiddenColumns == null || hiddenColumns.size() == 0)
       {
-        int ifpos = seq.findIndex(fpos) - 1;
-        int ilpos = seq.findIndex(lpos) - 1;
-        return new int[] { ifpos, ifpos, ilpos };
+        return seq.findIndex(seq.getStart()) - 1;
       }
 
       // Simply walk along the sequence whilst watching for hidden column
       // boundaries
-      Iterator<int[]> regions = iterator();
-      int spos = fpos;
+      Iterator<int[]> regions = hiddenColumns.iterator();
       int hideStart = seq.getLength();
       int hideEnd = -1;
       int visPrev = 0;
       int visNext = 0;
-      int firstP = -1;
-      int lastP = -1;
       boolean foundStart = false;
-      for (int p = 0, pLen = seq.getLength(); spos <= seq.getEnd()
-              && p < pLen; p++)
+
+      // step through the non-gapped positions of the sequence
+      for (int i = seq.getStart(); i <= seq.getEnd() && (!foundStart); i++)
       {
-        if (!Comparison.isGap(seq.getCharAt(p)))
+        // get alignment position of this residue in the sequence
+        int p = seq.findIndex(i) - 1;
+
+        // update hidden region start/end
+        while (hideEnd < p && regions.hasNext())
         {
-          // keep track of first/last column
-          // containing sequence data regardless of visibility
-          if (firstP == -1)
-          {
-            firstP = p;
-          }
-          lastP = p;
-          // update hidden region start/end
-          while (hideEnd < p && regions.hasNext())
-          {
-            int[] region = regions.next();
-            visPrev = visNext;
-            visNext += region[0] - visPrev;
-            hideStart = region[0];
-            hideEnd = region[1];
-          }
-          if (hideEnd < p)
-          {
-            hideStart = seq.getLength();
-          }
-          // update visible boundary for sequence
-          if (p < hideStart)
-          {
-            if (!foundStart)
-            {
-              fpos = spos;
-              start = p;
-              foundStart = true;
-            }
-            lpos = spos;
-          }
-          // look for next sequence position
-          spos++;
+          int[] region = regions.next();
+          visPrev = visNext;
+          visNext += region[0] - visPrev;
+          hideStart = region[0];
+          hideEnd = region[1];
+        }
+        if (hideEnd < p)
+        {
+          hideStart = seq.getLength();
+        }
+        // update visible boundary for sequence
+        if (p < hideStart)
+        {
+          start = p;
+          foundStart = true;
         }
       }
+
       if (foundStart)
       {
-        return new int[] { findColumnPosition(start), firstP, lastP };
+        return findColumnPosition(start);
       }
       // otherwise, sequence was completely hidden
-      return new int[] { visPrev, firstP, lastP };
+      return visPrev;
     } finally
     {
       LOCK.readLock().unlock();
@@ -829,28 +809,28 @@ public class HiddenColumns
           AlignmentAnnotation alignmentAnnotation)
   {
     // mangle the alignmentAnnotation annotation array
-    Vector<Annotation[]> annels = new Vector<>();
+    ArrayList<Annotation[]> annels = new ArrayList<>();
     Annotation[] els = null;
 
     int w = 0;
     
-    Iterator<int[]> blocks = new VisibleBlocksIterator(start, end,
-            false);
+    Iterator<int[]> blocks = new VisibleContigsIterator(start, end + 1,
+            hiddenColumns);
+
     int copylength;
     int annotationLength;
     while (blocks.hasNext())
     {
       int[] block = blocks.next();
+      annotationLength = block[1] - block[0] + 1;
     
       if (blocks.hasNext())
       {
-        annotationLength = block[1] - block[0];
         // copy just the visible segment of the annotation row
         copylength = annotationLength;
       }
       else
       {
-        annotationLength = block[1] - block[0] + 1;
         if (annotationLength + block[0] <= alignmentAnnotation.annotations.length)
         {
           // copy just the visible segment of the annotation row
@@ -864,7 +844,7 @@ public class HiddenColumns
       }
       
       els = new Annotation[annotationLength];
-      annels.addElement(els);
+      annels.add(els);
       System.arraycopy(alignmentAnnotation.annotations, block[0], els, 0,
               copylength);
       w += annotationLength;
@@ -932,6 +912,8 @@ public class HiddenColumns
       {
         hideColumns(r[0], r[1]);
       }
+      cursor.resetCursor(hiddenColumns);
+      numColumns = 0;
     } finally
     {
       LOCK.writeLock().unlock();
@@ -948,17 +930,19 @@ public class HiddenColumns
       LOCK.writeLock().lock();
       if (hiddenColumns != null)
       {
-        for (int i = 0; i < hiddenColumns.size(); i++)
+        Iterator<int[]> it = hiddenColumns.iterator();
+        while (it.hasNext())
         {
-          int[] region = hiddenColumns.get(i);
+          int[] region = it.next();
           for (int j = region[0]; j < region[1] + 1; j++)
           {
             sel.addElement(j);
           }
         }
+        hiddenColumns = null;
+        cursor.resetCursor(hiddenColumns);
+        numColumns = 0;
       }
-
-      hiddenColumns = null;
     } finally
     {
       LOCK.writeLock().unlock();
@@ -976,24 +960,40 @@ public class HiddenColumns
     try
     {
       LOCK.writeLock().lock();
-      for (int i = 0; i < hiddenColumns.size(); i++)
+
+      if (hiddenColumns != null)
       {
-        int[] region = hiddenColumns.get(i);
-        if (start == region[0])
+        int regionIndex = cursor.findRegionForColumn(start)
+                .getRegionIndex();
+
+        if (regionIndex != -1 && regionIndex != hiddenColumns.size())
         {
-          for (int j = region[0]; j < region[1] + 1; j++)
+          // regionIndex is the region which either contains start
+          // or lies to the right of start
+          int[] region = hiddenColumns.get(regionIndex);
+          if (start == region[0])
           {
-            sel.addElement(j);
-          }
+            for (int j = region[0]; j < region[1] + 1; j++)
+            {
+              sel.addElement(j);
+            }
+            int colsToRemove = region[1] - region[0] + 1;
+            hiddenColumns.remove(regionIndex);
 
-          hiddenColumns.remove(region);
-          break;
+            if (hiddenColumns.isEmpty())
+            {
+              hiddenColumns = null;
+              numColumns = 0;
+            }
+            else
+            {
+              numColumns -= colsToRemove;
+            }
+            cursor.updateForDeletedRegion(hiddenColumns);
+
+          }
         }
       }
-      if (hiddenColumns.size() == 0)
-      {
-        hiddenColumns = null;
-      }
     } finally
     {
       LOCK.writeLock().unlock();
@@ -1064,7 +1064,7 @@ public class HiddenColumns
       // of
       // preceding visible gaps
       // update hidden columns at the same time
-      Iterator<int[]> regions = iterator();
+      Iterator<int[]> regions = hiddenColumns.iterator();
       ArrayList<int[]> newhidden = new ArrayList<>();
 
       int numGapsBefore = 0;
@@ -1098,6 +1098,8 @@ public class HiddenColumns
 
       }
       hiddenColumns = newhidden;
+      cursor.resetCursor(hiddenColumns);
+      numColumns = 0;
     } finally
     {
       LOCK.writeLock().unlock();
@@ -1169,13 +1171,12 @@ public class HiddenColumns
     {
       LOCK.readLock().lock();
       int hashCode = 1;
-      if (hiddenColumns != null)
+      Iterator<int[]> it = hiddenColumns.iterator();
+      while (it.hasNext())
       {
-        for (int[] hidden : hiddenColumns)
-        {
-          hashCode = HASH_MULTIPLIER * hashCode + hidden[0];
-          hashCode = HASH_MULTIPLIER * hashCode + hidden[1];
-        }
+        int[] hidden = it.next();
+        hashCode = HASH_MULTIPLIER * hashCode + hidden[0];
+        hashCode = HASH_MULTIPLIER * hashCode + hidden[1];
       }
       return hashCode;
     } finally
@@ -1202,6 +1203,8 @@ public class HiddenColumns
         lastSet = inserts.nextClearBit(firstSet);
         hideColumns(firstSet, lastSet - 1);
       }
+      cursor.resetCursor(hiddenColumns);
+      numColumns = 0;
     } finally
     {
       LOCK.writeLock().unlock();
@@ -1222,8 +1225,10 @@ public class HiddenColumns
       {
         return;
       }
-      for (int[] range : hiddenColumns)
+      Iterator<int[]> it = hiddenColumns.iterator();
+      while (it.hasNext())
       {
+        int[] range = it.next();
         inserts.set(range[0], range[1] + 1);
       }
     } finally
@@ -1256,10 +1261,12 @@ public class HiddenColumns
         return new int[] { startPos, endPos };
       }
 
-      for (int[] hiddenCol : hiddenColumns)
+      Iterator<int[]> it = hiddenColumns.iterator();
+      while (it.hasNext())
       {
-        lowestRange = (hiddenCol[0] <= startPos) ? hiddenCol : lowestRange;
-        higestRange = (hiddenCol[1] >= endPos) ? hiddenCol : higestRange;
+        int[] range = it.next();
+        lowestRange = (range[0] <= startPos) ? range : lowestRange;
+        higestRange = (range[1] >= endPos) ? range : higestRange;
       }
 
       if (lowestRange[0] == -1 && lowestRange[1] == -1)
@@ -1284,7 +1291,6 @@ public class HiddenColumns
     {
       LOCK.readLock().unlock();
     }
-
   }
 
   /**
@@ -1302,18 +1308,36 @@ public class HiddenColumns
       int adjres = adjustForHiddenColumns(res);
 
       int[] reveal = null;
+
       if (hiddenColumns != null)
       {
-        for (int[] region : hiddenColumns)
+        // look for a region ending just before adjres
+        int regionindex = cursor.findRegionForColumn(adjres - 1)
+                .getRegionIndex();
+        if (regionindex < hiddenColumns.size()
+                && hiddenColumns.get(regionindex)[1] == adjres - 1)
+        {
+          reveal = hiddenColumns.get(regionindex);
+        }
+        // check if the region ends just after adjres
+        else if (regionindex < hiddenColumns.size()
+                && hiddenColumns.get(regionindex)[0] == adjres + 1)
+        {
+          reveal = hiddenColumns.get(regionindex);
+        }
+        // or try the next region
+        else
         {
-          if (adjres + 1 == region[0] || adjres - 1 == region[1])
+          regionindex++;
+          if (regionindex < hiddenColumns.size()
+                  && hiddenColumns.get(regionindex)[0] == adjres + 1)
           {
-            reveal = region;
-            break;
+            reveal = hiddenColumns.get(regionindex);
           }
         }
       }
       return reveal;
+
     } finally
     {
       LOCK.readLock().unlock();
@@ -1325,14 +1349,13 @@ public class HiddenColumns
    */
   public Iterator<int[]> iterator()
   {
-    if (hiddenColumns != null)
+    try
     {
-      int last = hiddenColumns.get(hiddenColumns.size() - 1)[1];
-      return new BoundedHiddenColsIterator(0, last, true);
-    }
-    else
+      LOCK.readLock().lock();
+      return new BoundedHiddenColsIterator(hiddenColumns);
+    } finally
     {
-      return new BoundedHiddenColsIterator(0, 0, true);
+      LOCK.readLock().unlock();
     }
   }
 
@@ -1347,7 +1370,14 @@ public class HiddenColumns
    */
   public Iterator<int[]> getBoundedIterator(int start, int end)
   {
-    return new BoundedHiddenColsIterator(start, end, true);
+    try
+    {
+      LOCK.readLock().lock();
+      return new BoundedHiddenColsIterator(start, end, hiddenColumns);
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
   }
 
   /**
@@ -1361,12 +1391,19 @@ public class HiddenColumns
    */
   public Iterator<Integer> getBoundedStartIterator(int start, int end)
   {
-    return new BoundedStartRegionIterator(start, end, true);
+    try
+    {
+      LOCK.readLock().lock();
+      return new BoundedStartRegionIterator(start, end, hiddenColumns);
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
   }
 
   /**
-   * Return an iterator over visible columns between the given start and end
-   * boundaries
+   * Return an iterator over visible *columns* (not regions) between the given
+   * start and end boundaries
    * 
    * @param start
    *          first column (inclusive)
@@ -1375,7 +1412,14 @@ public class HiddenColumns
    */
   public Iterator<Integer> getVisibleColsIterator(int start, int end)
   {
-    return new VisibleColsIterator(start, end, true);
+    try
+    {
+      LOCK.readLock().lock();
+      return new VisibleColsIterator(start, end, hiddenColumns);
+    } finally
+    {
+      LOCK.readLock().unlock();
+    }
   }
 
   /**
@@ -1389,434 +1433,81 @@ public class HiddenColumns
    */
   public Iterator<int[]> getVisContigsIterator(int start, int end)
   {
-    return new VisibleContigsIterator(start, end, true);
-  }
-
-  /**
-   * An iterator which iterates over hidden column regions in a range.
-   */
-  private class BoundedHiddenColsIterator implements Iterator<int[]>
-  {
-    private int start; // start position to iterate from
-
-    private int end; // end position to iterate to
-
-    // current index in hiddenColumns
-    private int currentPosition = 0;
-
-    // current column in hiddenColumns
-    private int[] currentRegion;
-
-    // whether to make a local copy of hiddenColumns
-    private final boolean useCopy;
-
-    // local copy or reference to hiddenColumns
-    private List<int[]> localHidden;
-
-    /**
-     * Construct an iterator over hiddenColums bounded at
-     * [lowerBound,upperBound]
-     * 
-     * @param lowerBound
-     *          lower bound to iterate from
-     * @param upperBound
-     *          upper bound to iterate to
-     * @param useCopyCols
-     *          whether to make a local copy of hiddenColumns for iteration (set
-     *          to true if calling from outwith the HiddenColumns class)
-     */
-    BoundedHiddenColsIterator(int lowerBound, int upperBound,
-            boolean useCopyCols)
-    {
-      start = lowerBound;
-      end = upperBound;
-      useCopy = useCopyCols;
-
-      try
-      {
-        if (useCopy)
-        {
-          // assume that if useCopy is false the calling code has locked
-          // hiddenColumns
-          LOCK.readLock().lock();
-        }
-        
-        if (hiddenColumns != null)
-        {
-          localHidden = new ArrayList<>();
-
-          // iterate until a region overlaps with [start,end]
-          int i = 0;
-          while ((i < hiddenColumns.size())
-                  && (hiddenColumns.get(i)[1] < start))
-          {
-            i++;
-          }
-
-          // iterate from start to end, adding each hidden region. Positions are
-          // absolute, and all regions which *overlap* [start,end] are added.
-          while (i < hiddenColumns.size()
-                  && (hiddenColumns.get(i)[0] <= end))
-          {
-            int[] rh;
-            int[] cp;
-            rh = hiddenColumns.get(i);
-            if (rh != null)
-            {
-              cp = new int[rh.length];
-              System.arraycopy(rh, 0, cp, 0, rh.length);
-              localHidden.add(cp);
-            }
-            i++;
-          }
-        }
-      }
-      finally
-      {
-        if (useCopy)
-        {
-          LOCK.readLock().unlock();
-        }
-      }
-    }
-
-    @Override
-    public boolean hasNext()
+    try
     {
-      return (localHidden != null)
-              && (currentPosition < localHidden.size());
-    }
-
-    @Override
-    public int[] next()
+      LOCK.readLock().lock();
+      return new VisibleContigsIterator(start, end, hiddenColumns);
+    } finally
     {
-      currentRegion = localHidden.get(currentPosition);
-      currentPosition++;
-      return currentRegion;
+      LOCK.readLock().unlock();
     }
   }
 
   /**
-   * An iterator which iterates over visible start positions of hidden column
-   * regions in a range.
+   * return an iterator over visible segments between the given start and end
+   * boundaries
+   * 
+   * @param start
+   *          (first column - inclusive from 0)
+   * @param end
+   *          (last column - inclusive)
+   * @param useVisibleCoords
+   *          if true, start and end are visible column positions, not absolute
+   *          positions
    */
-  private class BoundedStartRegionIterator implements Iterator<Integer>
+  public Iterator<int[]> getVisibleBlocksIterator(int start, int end,
+          boolean useVisibleCoords)
   {
-    // start position to iterate from
-    private int start;
-
-    // end position to iterate to
-    private int end;
-
-    // current index in hiddenColumns
-    private int currentPosition = 0;
-
-    // local copy or reference to hiddenColumns
-    private List<Integer> positions = null;
-
-    /**
-     * Construct an iterator over hiddenColums bounded at
-     * [lowerBound,upperBound]
-     * 
-     * @param lowerBound
-     *          lower bound to iterate from
-     * @param upperBound
-     *          upper bound to iterate to
-     * @param useCopyCols
-     *          whether to make a local copy of hiddenColumns for iteration (set
-     *          to true if calling from outwith the HiddenColumns class)
-     */
-    BoundedStartRegionIterator(int lowerBound, int upperBound,
-            boolean useCopy)
-    {
-      start = lowerBound;
-      end = upperBound;
-      
-      try
-      {
-        if (useCopy)
-        {
-          // assume that if useCopy is false the calling code has locked
-          // hiddenColumns
-          LOCK.readLock().lock();
-        }
-
-        if (hiddenColumns != null)
-        {
-          positions = new ArrayList<>(hiddenColumns.size());
-
-          // navigate to start, keeping count of hidden columns
-          int i = 0;
-          int hiddenSoFar = 0;
-          while ((i < hiddenColumns.size())
-                  && (hiddenColumns.get(i)[0] < start + hiddenSoFar))
-          {
-            int[] region = hiddenColumns.get(i);
-            hiddenSoFar += region[1] - region[0] + 1;
-            i++;
-          }
-
-          // iterate from start to end, adding start positions of each
-          // hidden region. Positions are visible columns count, not absolute
-          while (i < hiddenColumns.size()
-                  && (hiddenColumns.get(i)[0] <= end + hiddenSoFar))
-          {
-            int[] region = hiddenColumns.get(i);
-            positions.add(region[0] - hiddenSoFar);
-            hiddenSoFar += region[1] - region[0] + 1;
-            i++;
-          }
-        }
-        else
-        {
-          positions = new ArrayList<>();
-        }
-      } finally
-      {
-        if (useCopy)
-        {
-          LOCK.readLock().unlock();
-        }
-      }
-    }
-
-    @Override
-    public boolean hasNext()
-    {
-      return (currentPosition < positions.size());
-    }
-
-    /**
-     * Get next hidden region start position
-     * 
-     * @return the start position in *visible* coordinates
-     */
-    @Override
-    public Integer next()
-    {
-      int result = positions.get(currentPosition);
-      currentPosition++;
-      return result;
+    if (useVisibleCoords)
+    {
+      // TODO
+      // we should really just convert start and end here with
+      // adjustForHiddenColumns
+      // and then create a VisibleContigsIterator
+      // but without a cursor this will be horribly slow in some situations
+      // ... so until then...
+      return new VisibleBlocksVisBoundsIterator(start, end, true);
     }
-  }
-
-  private class VisibleColsIterator implements Iterator<Integer>
-  {
-    private int last;
-
-    private int current;
-
-    private int next;
-
-    private List<int[]> localHidden = new ArrayList<>();
-
-    private int lasthiddenregion;
-
-    VisibleColsIterator(int firstcol, int lastcol, boolean useCopy)
+    else
     {
-      last = lastcol;
-      current = firstcol;
-      next = firstcol;
-      lasthiddenregion = -1;
-
       try
       {
-        if (useCopy)
-        {
-          // assume that if useCopy is false the calling code has locked
-          // hiddenColumns
-          LOCK.readLock().lock();
-        }
-
-        if (hiddenColumns != null)
-        {
-          int i = 0;
-          for (i = 0; i < hiddenColumns.size()
-                  && (current < hiddenColumns.get(i)[0]); ++i)
-          {
-            if (current >= hiddenColumns.get(i)[0]
-                    && current <= hiddenColumns.get(i)[1])
-            {
-              // current is hidden, move to right
-              current = hiddenColumns.get(i)[1] + 1;
-              next = current;
-            }
-          }
-
-          lasthiddenregion = i - 1;
-
-          for (i = hiddenColumns.size() - 1; i >= 0
-                  && (last > hiddenColumns.get(i)[1]); --i)
-          {
-            if (last >= hiddenColumns.get(i)[0]
-                    && last <= hiddenColumns.get(i)[1])
-            {
-              // last is hidden, move to left
-              last = hiddenColumns.get(i)[0] - 1;
-            }
-          }
-
-          // make a local copy of the bit we need
-          i = lasthiddenregion + 1;
-          while (i < hiddenColumns.size()
-                  && hiddenColumns.get(i)[0] <= last)
-          {
-            int[] region = new int[] { hiddenColumns.get(i)[0],
-                hiddenColumns.get(i)[1] };
-            localHidden.add(region);
-            i++;
-          }
-          lasthiddenregion = -1;
-        }
+        LOCK.readLock().lock();
+        return new VisibleContigsIterator(start, end + 1, hiddenColumns);
       } finally
-      {
-        if (useCopy)
-        {
-          LOCK.readLock().unlock();
-        }
-      }
-    }
-
-    @Override
-    public boolean hasNext()
-    {
-      return next <= last;
-    }
-
-    @Override
-    public Integer next()
     {
-      if (next > last)
-      {
-        throw new NoSuchElementException();
-      }
-      current = next;
-      if ((localHidden != null)
-              && (lasthiddenregion + 1 < localHidden.size()))
-      {
-        // still some more hidden regions
-        if (next + 1 < localHidden.get(lasthiddenregion + 1)[0])
-        {
-          // next+1 is still before the next hidden region
-          next++;
-        }
-        else if ((next + 1 >= localHidden.get(lasthiddenregion + 1)[0])
-                && (next + 1 <= localHidden.get(lasthiddenregion + 1)[1]))
-        {
-          // next + 1 is in the next hidden region
-          next = localHidden.get(lasthiddenregion + 1)[1] + 1;
-          lasthiddenregion++;
-        }
+        LOCK.readLock().unlock();
       }
-      else
-      {
-        // finished with hidden regions, just increment normally
-        next++;
-      }
-      return current;
-    }
-
-    @Override
-    public void remove()
-    {
-      throw new UnsupportedOperationException();
     }
   }
 
   /**
-   * An iterator which iterates over visible regions in a range.
+   * An iterator which iterates over visible regions in a range. The range is
+   * specified in terms of visible column positions. Provides a special
+   * "endsAtHidden" indicator to allow callers to determine if the final visible
+   * column is adjacent to a hidden region.
    */
-  private class VisibleContigsIterator implements Iterator<int[]>
+  public class VisibleBlocksVisBoundsIterator implements Iterator<int[]>
   {
     private List<int[]> vcontigs = new ArrayList<>();
 
     private int currentPosition = 0;
 
-    VisibleContigsIterator(int start, int end, boolean usecopy)
-    {
-      try
-      {
-        if (usecopy)
-        {
-          LOCK.readLock().lock();
-        }
-
-        if (hiddenColumns != null && hiddenColumns.size() > 0)
-        {
-          int vstart = start;
-          int hideStart;
-          int hideEnd;
-
-          for (int[] region : hiddenColumns)
-          {
-            hideStart = region[0];
-            hideEnd = region[1];
-
-            // navigate to start
-            if (hideEnd < vstart)
-            {
-              continue;
-            }
-            if (hideStart > vstart)
-            {
-              int[] contig = new int[] { vstart, hideStart - 1 };
-              vcontigs.add(contig);
-            }
-            vstart = hideEnd + 1;
-
-            // exit if we're past the end
-            if (vstart >= end)
-            {
-              break;
-            }
-          }
-
-          if (vstart < end)
-          {
-            int[] contig = new int[] { vstart, end - 1 };
-            vcontigs.add(contig);
-          }
-        }
-        else
-        {
-          int[] contig = new int[] { start, end - 1 };
-          vcontigs.add(contig);
-        }
-      } finally
-      {
-        if (usecopy)
-        {
-          LOCK.readLock().unlock();
-        }
-      }
-    }
-
-    @Override
-    public boolean hasNext()
-    {
-      return (currentPosition < vcontigs.size());
-    }
+    private boolean endsAtHidden = false;
 
-    @Override
-    public int[] next()
-    {
-      int[] result = vcontigs.get(currentPosition);
-      currentPosition++;
-      return result;
-    }
-  }
-
-  /**
-   * An iterator which iterates over visible regions in a range.
-   */
-  private class VisibleBlocksIterator implements Iterator<int[]>
-  {
-    private List<int[]> vcontigs = new ArrayList<>();
-
-    private int currentPosition = 0;
-
-    VisibleBlocksIterator(int start, int end, boolean usecopy)
+    /**
+     * Constructor for iterator over visible regions in a range.
+     * 
+     * @param start
+     *          start position in terms of visible column position
+     * @param end
+     *          end position in terms of visible column position
+     * @param usecopy
+     *          whether to use a local copy of hidden columns
+     */
+    VisibleBlocksVisBoundsIterator(int start, int end, boolean usecopy)
     {
+      /* actually this implementation always uses a local copy but this may change in future */
       try
       {
         if (usecopy)
@@ -1828,44 +1519,73 @@ public class HiddenColumns
         {
           int blockStart = start;
           int blockEnd = end;
+          int hiddenSoFar = 0;
+          int visSoFar = 0;
 
-          // iterate until a region overlaps with [start,end]
+          // iterate until a region begins within (start,end]
           int i = 0;
           while ((i < hiddenColumns.size())
-                  && (hiddenColumns.get(i)[1] < start))
+                  && (hiddenColumns.get(i)[0] <= blockStart + hiddenSoFar))
           {
+            hiddenSoFar += hiddenColumns.get(i)[1] - hiddenColumns.get(i)[0]
+                    + 1;
             i++;
           }
 
-          // iterate from start to end, adding each hidden region. Positions are
-          // absolute, and all regions which *overlap* [start,end] are used.
+          blockStart += hiddenSoFar; // convert start to absolute position
+          blockEnd += hiddenSoFar; // convert end to absolute position
+
+          // iterate from start to end, adding each visible region. Positions
+          // are
+          // absolute, and all hidden regions which overlap [start,end] are
+          // used.
           while (i < hiddenColumns.size()
-                  && (hiddenColumns.get(i)[0] <= end))
+                  && (hiddenColumns.get(i)[0] <= blockEnd))
           {
             int[] region = hiddenColumns.get(i);
 
-            blockStart = Math.min(blockStart, region[1] + 1);
-            blockEnd = Math.min(blockEnd, region[0]);
+            // end position of this visible region is either just before the
+            // start of the next hidden region, or the absolute position of
+            // 'end', whichever is lowest
+            blockEnd = Math.min(blockEnd, region[0] - 1);
+
+            vcontigs.add(new int[] { blockStart, blockEnd });
 
-            int[] contig = new int[] { blockStart, blockEnd };
-            vcontigs.add(contig);
+            visSoFar += blockEnd - blockStart + 1;
 
+            // next visible region starts after this hidden region
             blockStart = region[1] + 1;
-            blockEnd = end;
+
+            hiddenSoFar += region[1] - region[0] + 1;
+
+            // reset blockEnd to absolute position of 'end', assuming we've now
+            // passed all hidden regions before end
+            blockEnd = end + hiddenSoFar;
 
             i++;
           }
-
-          if (end > blockStart)
+          if (visSoFar < end - start + 1)
           {
-            int[] contig = new int[] { blockStart, end };
-            vcontigs.add(contig);
+            // the number of visible columns we've accounted for is less than
+            // the number specified by end-start; work out the end position of
+            // the last visible region
+            blockEnd = blockStart + end - start - visSoFar;
+            vcontigs.add(new int[] { blockStart, blockEnd });
+
+            // if the last visible region ends at the next hidden region, set
+            // endsAtHidden=true
+            if (i < hiddenColumns.size()
+                    && hiddenColumns.get(i)[0] - 1 == blockEnd)
+            {
+              endsAtHidden = true;
+            }
           }
         }
         else
         {
-          int[] contig = new int[] { start, end };
-          vcontigs.add(contig);
+          // there are no hidden columns, return a single visible contig
+          vcontigs.add(new int[] { start, end });
+          endsAtHidden = false;
         }
       } finally
       {
@@ -1889,6 +1609,10 @@ public class HiddenColumns
       currentPosition++;
       return result;
     }
-  }
 
+    public boolean endsAtHidden()
+    {
+      return endsAtHidden;
+    }
+  }
 }