JAL-3253-applet JAL-3397
[jalview.git] / src / jalview / datamodel / features / FeatureStore.java
index 716eb04..615b340 100644 (file)
 package jalview.datamodel.features;
 
 import jalview.datamodel.SequenceFeature;
+import jalview.util.Platform;
 
 import java.util.ArrayList;
-import java.util.Arrays;
+import java.util.Collection;
 import java.util.Collections;
-import java.util.Comparator;
 import java.util.HashSet;
 import java.util.List;
 import java.util.Set;
 
 import intervalstore.api.IntervalStoreI;
 import intervalstore.impl.BinarySearcher;
-import intervalstore.impl.IntervalStore;
+import intervalstore.impl.BinarySearcher.Compare;
 
-/**
- * A data store for a set of sequence features that supports efficient lookup of
- * features overlapping a given range. Intended for (but not limited to) storage
- * of features for one sequence and feature type.
- * 
- * @author gmcarstairs
- *
- */
 public class FeatureStore
 {
   /*
+   * track last start for quick insertion of ordered features
+   */
+  protected int lastStart = -1;
+
+  protected int lastContactStart = -1;
+
+  /*
    * Non-positional features have no (zero) start/end position.
    * Kept as a separate list in case this criterion changes in future.
    */
@@ -92,15 +91,151 @@ public class FeatureStore
 
   float nonPositionalMaxScore;
 
-  private ArrayList<SequenceFeature> featuresList;
+  public final static int INTERVAL_STORE_DEFAULT = -1;
+
+  /**
+   * original NCList-based IntervalStore
+   */
+  public final static int INTERVAL_STORE_NCLIST_OBJECT = 0;
+
+  /**
+   * linked-list IntervalStore
+   */
+  public final static int INTERVAL_STORE_LINKED_LIST = 1;
+
+  /**
+   * NCList as array buffer IntervalStore
+   */
+  public final static int INTERVAL_STORE_NCARRAY = 3;
+
+  static final int intervalStoreJavaOption = INTERVAL_STORE_NCLIST_OBJECT;
+
+  private final static boolean isJSLinkedTest = false;
+
+  static final int intervalStoreJSOption = (isJSLinkedTest
+          ? INTERVAL_STORE_LINKED_LIST
+          : INTERVAL_STORE_NCARRAY);
+
+  // TODO: compare performance in real situations using
+  // INTERVAL_STORE_LINKED_LIST;
+
+  /**
+   * Answers the 'length' of the feature, counting 0 for non-positional features
+   * and 1 for contact features
+   * 
+   * @param feature
+   * @return
+   */
+  protected static int getFeatureLength(SequenceFeature feature)
+  {
+    if (feature.isNonPositional())
+    {
+      return 0;
+    }
+    if (feature.isContactFeature())
+    {
+      return 1;
+    }
+    return 1 + feature.getEnd() - feature.getBegin();
+  }
+
+  /**
+   * Answers true if the list contains the feature, else false. This method is
+   * optimised for the condition that the list is sorted on feature start
+   * position ascending, and will give unreliable results if this does not hold.
+   * 
+   * @param list
+   * @param feature
+   * @return
+   */
+  public boolean listContains(List<SequenceFeature> list,
+          SequenceFeature feature)
+  {
+    if (list == null || feature == null)
+    {
+      return false;
+    }
+
+    /*
+     * locate the first entry in the list which does not precede the feature
+     */
+    int begin = feature.begin;
+    int pos = BinarySearcher.findFirst(list, true, Compare.GE, begin);
+    int len = list.size();
+    while (pos < len)
+    {
+      SequenceFeature sf = list.get(pos);
+      if (sf.begin > begin)
+      {
+        return false; // no match found
+      }
+      if (sf.equals(feature))
+      {
+        return true;
+      }
+      pos++;
+    }
+    return false;
+  }
+
+  /**
+   * A helper method to return the maximum of two floats, where a non-NaN value
+   * is treated as 'greater than' a NaN value (unlike Math.max which does the
+   * opposite)
+   * 
+   * @param f1
+   * @param f2
+   */
+  protected static float max(float f1, float f2)
+  {
+    if (Float.isNaN(f1))
+    {
+      return Float.isNaN(f2) ? f1 : f2;
+    }
+    else
+    {
+      return Float.isNaN(f2) ? f1 : Math.max(f1, f2);
+    }
+  }
+
+  /**
+   * A helper method to return the minimum of two floats, where a non-NaN value
+   * is treated as 'less than' a NaN value (unlike Math.min which does the
+   * opposite)
+   * 
+   * @param f1
+   * @param f2
+   */
+  protected static float min(float f1, float f2)
+  {
+    if (Float.isNaN(f1))
+    {
+      return Float.isNaN(f2) ? f1 : f2;
+    }
+    else
+    {
+      return Float.isNaN(f2) ? f1 : Math.min(f1, f2);
+    }
+  }
 
   /**
-   * Constructor
+   * standard constructor
    */
   public FeatureStore()
   {
-    features = new IntervalStore<>();
-    featuresList = new ArrayList<>();
+    this(INTERVAL_STORE_DEFAULT);
+  }
+
+  /**
+   * constructor for testing only
+   */
+  public FeatureStore(int intervalStoreType)
+  {
+    features =
+            // Platform.isJS()
+            // ? new intervalstore.nonc.IntervalStore<>(true)
+            // : new intervalstore.impl.IntervalStore<>();
+            getIntervalStore(intervalStoreType);
     positionalFeatureGroups = new HashSet<>();
     nonPositionalFeatureGroups = new HashSet<>();
     positionalMinScore = Float.NaN;
@@ -111,41 +246,100 @@ public class FeatureStore
     // we only construct nonPositionalFeatures, contactFeatures if we need to
   }
 
+  private IntervalStoreI<SequenceFeature> getIntervalStore(int type)
+  {
+    switch (type != INTERVAL_STORE_DEFAULT ? type : //
+            Platform.isJS() //
+                    ? intervalStoreJSOption
+                    : intervalStoreJavaOption)
+    {
+    default:
+    case INTERVAL_STORE_NCLIST_OBJECT:
+      return new intervalstore.impl.IntervalStore<>();
+    case INTERVAL_STORE_NCARRAY:
+      return new intervalstore.nonc.IntervalStoreImpl();
+    case INTERVAL_STORE_LINKED_LIST:
+      return new intervalstore.nonc.IntervalStore0Impl();
+    }
+  }
+
   /**
-   * Adds one sequence feature to the store, and returns true, unless the
-   * feature is already contained in the store, in which case this method
-   * returns false. Containment is determined by SequenceFeature.equals()
-   * comparison.
+   * Add a contact feature to the lists that hold them ordered by start (first
+   * contact) and by end (second contact) position, ensuring the lists remain
+   * ordered, and returns true. This method allows duplicate features to be
+   * added, so test before calling to avoid this.
    * 
    * @param feature
+   * @return
    */
-
-  public boolean addFeature(SequenceFeature feature)
+  protected synchronized boolean addContactFeature(SequenceFeature feature)
   {
-    if (contains(feature))
+    if (contactFeatureStarts == null)
     {
-      return false;
+      contactFeatureStarts = new ArrayList<>();
+      contactFeatureEnds = new ArrayList<>();
     }
 
     /*
-     * keep a record of feature groups
+     * insert into list sorted by start (first contact position):
+     * binary search the sorted list to find the insertion point
      */
-    if (!feature.isNonPositional())
-    {
-      positionalFeatureGroups.add(feature.getFeatureGroup());
-    }
+    int insertAt = BinarySearcher.findFirst(contactFeatureStarts, true,
+            Compare.GE, feature.begin);
+    contactFeatureStarts.add(insertAt, feature);
+    /*
+     * insert into list sorted by end (second contact position):
+     * binary search the sorted list to find the insertion point
+     */
+    contactFeatureEnds.add(findFirstEnd(contactFeatureEnds, feature.end),
+            feature);
+
+    return true;
+  }
 
+  /**
+   * Adds one sequence feature to the store, and returns true, unless the
+   * feature is already contained in the store, in which case this method
+   * returns false. Containment is determined by SequenceFeature.equals()
+   * comparison.
+   * 
+   * @param feature
+   */
+  public boolean addFeature(SequenceFeature feature)
+  {
     if (feature.isContactFeature())
     {
+      if (containsContactFeature(feature))
+      {
+        return false;
+      }
+      positionalFeatureGroups.add(feature.getFeatureGroup());
+      if (feature.begin > lastContactStart)
+      {
+        lastContactStart = feature.begin;
+      }
       addContactFeature(feature);
     }
     else if (feature.isNonPositional())
     {
+      if (containsNonPositionalFeature(feature))
+      {
+        return false;
+      }
+
       addNonPositionalFeature(feature);
     }
     else
     {
-      addNestedFeature(feature);
+      if (!features.add(feature, false))
+      {
+        return false;
+      }
+      positionalFeatureGroups.add(feature.getFeatureGroup());
+      if (feature.begin > lastStart)
+      {
+        lastStart = feature.begin;
+      }
     }
 
     /*
@@ -177,48 +371,22 @@ public class FeatureStore
     return true;
   }
 
-  /**
-   * Answers true if this store contains the given feature (testing by
-   * SequenceFeature.equals), else false
-   * 
-   * @param feature
-   * @return
-   */
-  public boolean contains(SequenceFeature feature)
-  {
-    if (feature.isNonPositional())
-    {
-      return nonPositionalFeatures == null ? false
-              : nonPositionalFeatures.contains(feature);
-    }
-
-    if (feature.isContactFeature())
-    {
-      return contactFeatureStarts == null ? false
-              : listContains(contactFeatureStarts, feature);
-    }
-
-    return features == null ? false : features.contains(feature);
-  }
-
-  /**
-   * Answers the 'length' of the feature, counting 0 for non-positional features
-   * and 1 for contact features
-   * 
-   * @param feature
-   * @return
-   */
-  protected static int getFeatureLength(SequenceFeature feature)
+  private void addFeaturesForGroup(String group,
+          Collection<SequenceFeature> sfs, List<SequenceFeature> result)
   {
-    if (feature.isNonPositional())
+    if (sfs == null)
     {
-      return 0;
+      return;
     }
-    if (feature.isContactFeature())
+    for (SequenceFeature sf : sfs)
     {
-      return 1;
+      String featureGroup = sf.getFeatureGroup();
+      if (group == null && featureGroup == null
+              || group != null && group.equals(featureGroup))
+      {
+        result.add(sf);
+      }
     }
-    return 1 + feature.getEnd() - feature.getBegin();
   }
 
   /**
@@ -245,304 +413,58 @@ public class FeatureStore
   }
 
   /**
-   * Adds one feature to the IntervalStore that can manage nested features
-   * (creating the IntervalStore if necessary)
-   */
-  protected synchronized void addNestedFeature(SequenceFeature feature)
-  {
-    if (features == null)
-    {
-      features = new IntervalStore<>();
-    }
-    features.add(feature);
-    featuresList.add(feature);
-  }
-
-  /**
-   * Add a contact feature to the lists that hold them ordered by start (first
-   * contact) and by end (second contact) position, ensuring the lists remain
-   * ordered, and returns true. This method allows duplicate features to be
-   * added, so test before calling to avoid this.
+   * Answers true if this store contains the given feature (testing by
+   * SequenceFeature.equals), else false
    * 
    * @param feature
    * @return
    */
-  protected synchronized boolean addContactFeature(SequenceFeature feature)
+  public boolean contains(SequenceFeature feature)
   {
-    if (contactFeatureStarts == null)
+    if (feature.isNonPositional())
     {
-      contactFeatureStarts = new ArrayList<>();
+      return containsNonPositionalFeature(feature);
     }
-    if (contactFeatureEnds == null)
+
+    if (feature.isContactFeature())
     {
-      contactFeatureEnds = new ArrayList<>();
+      return containsContactFeature(feature);
     }
 
-    /*
-     * insert into list sorted by start (first contact position):
-     * binary search the sorted list to find the insertion point
-     */
-    int insertPosition = BinarySearcher.findFirst(contactFeatureStarts,
-            f -> f.getBegin() >= feature.getBegin());
-    contactFeatureStarts.add(insertPosition, feature);
+    return containsPositionalFeature(feature);
 
-    /*
-     * insert into list sorted by end (second contact position):
-     * binary search the sorted list to find the insertion point
-     */
-    insertPosition = BinarySearcher.findFirst(contactFeatureEnds,
-            f -> f.getEnd() >= feature.getEnd());
-    contactFeatureEnds.add(insertPosition, feature);
+  }
 
-    return true;
+  private boolean containsPositionalFeature(SequenceFeature feature)
+  {
+    return features == null || feature.begin > lastStart ? false
+            : features.contains(feature);
   }
 
   /**
-   * Answers true if the list contains the feature, else false. This method is
-   * optimised for the condition that the list is sorted on feature start
-   * position ascending, and will give unreliable results if this does not hold.
+   * Answers true if this store already contains a contact feature equal to the
+   * given feature (by {@code SequenceFeature.equals()} test), else false
    * 
-   * @param features
    * @param feature
    * @return
    */
-  protected static boolean listContains(List<SequenceFeature> features,
-          SequenceFeature feature)
+  private boolean containsContactFeature(SequenceFeature feature)
   {
-    if (features == null || feature == null)
-    {
-      return false;
-    }
-
-    /*
-     * locate the first entry in the list which does not precede the feature
-     */
-    // int pos = binarySearch(features,
-    // SearchCriterion.byFeature(feature, RangeComparator.BY_START_POSITION));
-    int pos = BinarySearcher.findFirst(features,
-            val -> val.getBegin() >= feature.getBegin());
-    int len = features.size();
-    while (pos < len)
-    {
-      SequenceFeature sf = features.get(pos);
-      if (sf.getBegin() > feature.getBegin())
-      {
-        return false; // no match found
-      }
-      if (sf.equals(feature))
-      {
-        return true;
-      }
-      pos++;
-    }
-    return false;
-  }
+    return contactFeatureStarts != null && feature.begin <= lastContactStart
+            && listContains(contactFeatureStarts, feature);
+  }
 
   /**
-   * Returns a (possibly empty) list of features whose extent overlaps the given
-   * range. The returned list is not ordered. Contact features are included if
-   * either of the contact points lies within the range.
-   * 
-   * @param start
-   *          start position of overlap range (inclusive)
-   * @param end
-   *          end position of overlap range (inclusive)
-   * @return
-   */
-
-  public List<SequenceFeature> findOverlappingFeatures(long start, long end)
-  {
-    List<SequenceFeature> result = new ArrayList<>();
-
-    findContactFeatures(start, end, result);
-
-    if (features != null)
-    {
-      result.addAll(features.findOverlaps(start, end));
-    }
-
-    return result;
-  }
-
-  /**
-   * Adds contact features to the result list where either the second or the
-   * first contact position lies within the target range
-   * 
-   * @param from
-   * @param to
-   * @param result
-   */
-  protected void findContactFeatures(long from, long to,
-          List<SequenceFeature> result)
-  {
-    if (contactFeatureStarts != null)
-    {
-      findContactStartOverlaps(from, to, result);
-    }
-    if (contactFeatureEnds != null)
-    {
-      findContactEndOverlaps(from, to, result);
-    }
-  }
-
-  /**
-   * Adds to the result list any contact features whose end (second contact
-   * point), but not start (first contact point), lies in the query from-to
-   * range
-   * 
-   * @param from
-   * @param to
-   * @param result
-   */
-  protected void findContactEndOverlaps(long from, long to,
-          List<SequenceFeature> result)
-  {
-    /*
-     * find the first contact feature (if any) 
-     * whose end point is not before the target range
-     */
-    int index = BinarySearcher.findFirst(contactFeatureEnds,
-            f -> f.getEnd() >= from);
-
-    while (index < contactFeatureEnds.size())
-    {
-      SequenceFeature sf = contactFeatureEnds.get(index);
-      if (!sf.isContactFeature())
-      {
-        System.err.println("Error! non-contact feature type " + sf.getType()
-                + " in contact features list");
-        index++;
-        continue;
-      }
-
-      int begin = sf.getBegin();
-      if (begin >= from && begin <= to)
-      {
-        /*
-         * this feature's first contact position lies in the search range
-         * so we don't include it in results a second time
-         */
-        index++;
-        continue;
-      }
-
-      if (sf.getEnd() > to)
-      {
-        /*
-         * this feature (and all following) has end point after the target range
-         */
-        break;
-      }
-
-      /*
-       * feature has end >= from and end <= to
-       * i.e. contact end point lies within overlap search range
-       */
-      result.add(sf);
-      index++;
-    }
-  }
-
-  /**
-   * Adds contact features whose start position lies in the from-to range to the
-   * result list
-   * 
-   * @param from
-   * @param to
-   * @param result
-   */
-  protected void findContactStartOverlaps(long from, long to,
-          List<SequenceFeature> result)
-  {
-    int index = BinarySearcher.findFirst(contactFeatureStarts,
-            f -> f.getBegin() >= from);
-
-    while (index < contactFeatureStarts.size())
-    {
-      SequenceFeature sf = contactFeatureStarts.get(index);
-      if (!sf.isContactFeature())
-      {
-        System.err.println("Error! non-contact feature " + sf.toString()
-                + " in contact features list");
-        index++;
-        continue;
-      }
-      if (sf.getBegin() > to)
-      {
-        /*
-         * this feature's start (and all following) follows the target range
-         */
-        break;
-      }
-
-      /*
-       * feature has begin >= from and begin <= to
-       * i.e. contact start point lies within overlap search range
-       */
-      result.add(sf);
-      index++;
-    }
-  }
-
-  /**
-   * Answers a list of all positional features stored, in no guaranteed order
-   * 
-   * @return
-   */
-
-  public List<SequenceFeature> getPositionalFeatures()
-  {
-    List<SequenceFeature> result = new ArrayList<>();
-
-    /*
-     * add any contact features - from the list by start position
-     */
-    if (contactFeatureStarts != null)
-    {
-      result.addAll(contactFeatureStarts);
-    }
-
-    /*
-     * add any nested features
-     */
-    if (features != null)
-    {
-      result.addAll(features);
-    }
-
-    return result;
-  }
-
-  /**
-   * Answers a list of all contact features. If there are none, returns an
-   * immutable empty list.
-   * 
-   * @return
-   */
-
-  public List<SequenceFeature> getContactFeatures()
-  {
-    if (contactFeatureStarts == null)
-    {
-      return Collections.emptyList();
-    }
-    return new ArrayList<>(contactFeatureStarts);
-  }
-
-  /**
-   * Answers a list of all non-positional features. If there are none, returns
-   * an immutable empty list.
+   * Answers true if this store already contains a non-positional feature equal
+   * to the given feature (by {@code SequenceFeature.equals()} test), else false
    * 
+   * @param feature
    * @return
    */
-
-  public List<SequenceFeature> getNonPositionalFeatures()
+  private boolean containsNonPositionalFeature(SequenceFeature feature)
   {
-    if (nonPositionalFeatures == null)
-    {
-      return Collections.emptyList();
-    }
-    return new ArrayList<>(nonPositionalFeatures);
+    return nonPositionalFeatures == null ? false
+            : nonPositionalFeatures.contains(feature);
   }
 
   /**
@@ -553,7 +475,6 @@ public class FeatureStore
    * 
    * @param sf
    */
-
   public synchronized boolean delete(SequenceFeature sf)
   {
     boolean removed = false;
@@ -571,15 +492,12 @@ public class FeatureStore
       }
     }
 
-    boolean removedNonPositional = false;
-
     /*
      * if not found, try non-positional features
      */
     if (!removed && nonPositionalFeatures != null)
     {
-      removedNonPositional = nonPositionalFeatures.remove(sf);
-      removed = removedNonPositional;
+      removed = nonPositionalFeatures.remove(sf);
     }
 
     /*
@@ -588,7 +506,6 @@ public class FeatureStore
     if (!removed && features != null)
     {
       removed = features.remove(sf);
-      featuresList.remove(sf);
     }
 
     if (removed)
@@ -599,99 +516,49 @@ public class FeatureStore
     return removed;
   }
 
-  /**
-   * Rescan all features to recompute any cached values after an entry has been
-   * deleted. This is expected to be an infrequent event, so performance here is
-   * not critical.
-   */
-  protected synchronized void rescanAfterDelete()
+  public List<SequenceFeature> findOverlappingFeatures(long start, long end)
   {
-    positionalFeatureGroups.clear();
-    nonPositionalFeatureGroups.clear();
-    totalExtent = 0;
-    positionalMinScore = Float.NaN;
-    positionalMaxScore = Float.NaN;
-    nonPositionalMinScore = Float.NaN;
-    nonPositionalMaxScore = Float.NaN;
-    /*
-     * scan non-positional features for groups and scores
-     */
-    for (SequenceFeature sf : getNonPositionalFeatures())
-    {
-      nonPositionalFeatureGroups.add(sf.getFeatureGroup());
-      float score = sf.getScore();
-      nonPositionalMinScore = min(nonPositionalMinScore, score);
-      nonPositionalMaxScore = max(nonPositionalMaxScore, score);
-    }
-
-    /*
-     * scan positional features for groups, scores and extents
-     */
-    for (SequenceFeature sf : getPositionalFeatures())
-    {
-      positionalFeatureGroups.add(sf.getFeatureGroup());
-      float score = sf.getScore();
-      positionalMinScore = min(positionalMinScore, score);
-      positionalMaxScore = max(positionalMaxScore, score);
-      totalExtent += getFeatureLength(sf);
-    }
+    return findOverlappingFeatures(start, end, null);
   }
 
-  /**
-   * A helper method to return the minimum of two floats, where a non-NaN value
-   * is treated as 'less than' a NaN value (unlike Math.min which does the
-   * opposite)
-   * 
-   * @param f1
-   * @param f2
-   */
-  protected static float min(float f1, float f2)
+  public List<SequenceFeature> getContactFeatures()
   {
-    if (Float.isNaN(f1))
-    {
-      return Float.isNaN(f2) ? f1 : f2;
-    }
-    else
-    {
-      return Float.isNaN(f2) ? f1 : Math.min(f1, f2);
-    }
+    return getContactFeatures(new ArrayList<>());
   }
 
   /**
-   * A helper method to return the maximum of two floats, where a non-NaN value
-   * is treated as 'greater than' a NaN value (unlike Math.max which does the
-   * opposite)
+   * Answers a list of all contact features. If there are none, returns an
+   * immutable empty list.
    * 
-   * @param f1
-   * @param f2
+   * @return
    */
-  protected static float max(float f1, float f2)
+  public List<SequenceFeature> getContactFeatures(
+          List<SequenceFeature> result)
   {
-    if (Float.isNaN(f1))
-    {
-      return Float.isNaN(f2) ? f1 : f2;
-    }
-    else
+    if (contactFeatureStarts != null)
     {
-      return Float.isNaN(f2) ? f1 : Math.max(f1, f2);
+      result.addAll(contactFeatureStarts);
     }
+    return result;
   }
 
   /**
-   * Answers true if this store has no features, else false
+   * Answers the number of positional (or non-positional) features stored.
+   * Contact features count as 1.
    * 
+   * @param positional
    * @return
    */
-
-  public boolean isEmpty()
+  public int getFeatureCount(boolean positional)
   {
-    boolean hasFeatures = (contactFeatureStarts != null
-            && !contactFeatureStarts.isEmpty())
-            || (nonPositionalFeatures != null
-                    && !nonPositionalFeatures.isEmpty())
-            || (features != null && features.size() > 0);
+    if (!positional)
+    {
+      return nonPositionalFeatures == null ? 0
+              : nonPositionalFeatures.size();
+    }
 
-    return !hasFeatures;
+    return (contactFeatureStarts == null ? 0 : contactFeatureStarts.size())
+            + features.size();
   }
 
   /**
@@ -702,7 +569,6 @@ public class FeatureStore
    * @param positionalFeatures
    * @return
    */
-
   public Set<String> getFeatureGroups(boolean positionalFeatures)
   {
     if (positionalFeatures)
@@ -717,114 +583,205 @@ public class FeatureStore
     }
   }
 
+  public Collection<SequenceFeature> getFeatures()
+  {
+    return features;
+  }
+
   /**
-   * Answers the number of positional (or non-positional) features stored.
-   * Contact features count as 1.
+   * Answers a list of all either positional or non-positional features whose
+   * feature group matches the given group (which may be null)
    * 
    * @param positional
+   * @param group
    * @return
    */
-
-  public int getFeatureCount(boolean positional)
+  public List<SequenceFeature> getFeaturesForGroup(boolean positional,
+          String group)
   {
-    if (!positional)
+    List<SequenceFeature> result = new ArrayList<>();
+
+    /*
+     * if we know features don't include the target group, no need
+     * to inspect them for matches
+     */
+    if (positional && !positionalFeatureGroups.contains(group)
+            || !positional && !nonPositionalFeatureGroups.contains(group))
     {
-      return nonPositionalFeatures == null ? 0
-              : nonPositionalFeatures.size();
+      return result;
     }
 
-    int size = 0;
-
-    if (contactFeatureStarts != null)
+    if (positional)
     {
-      // note a contact feature (start/end) counts as one
-      size += contactFeatureStarts.size();
+      addFeaturesForGroup(group, contactFeatureStarts, result);
+      addFeaturesForGroup(group, features, result);
     }
-
-    if (features != null)
+    else
     {
-      size += features.size();
+      addFeaturesForGroup(group, nonPositionalFeatures, result);
     }
+    return result;
+  }
 
-    return size;
+  /**
+   * Answers the maximum score held for positional or non-positional features.
+   * This may be Float.NaN if there are no features, are none has a non-NaN
+   * score.
+   * 
+   * @param positional
+   * @return
+   */
+  public float getMaximumScore(boolean positional)
+  {
+    return positional ? positionalMaxScore : nonPositionalMaxScore;
   }
 
   /**
-   * Answers the total length of positional features (or zero if there are
-   * none). Contact features contribute a value of 1 to the total.
+   * Answers the minimum score held for positional or non-positional features.
+   * This may be Float.NaN if there are no features, are none has a non-NaN
+   * score.
+   * 
+   * @param positional
+   * @return
+   */
+  public float getMinimumScore(boolean positional)
+  {
+    return positional ? positionalMinScore : nonPositionalMinScore;
+  }
+
+  public List<SequenceFeature> getNonPositionalFeatures()
+  {
+    return getNonPositionalFeatures(new ArrayList<>());
+  }
+
+  /**
+   * Answers a list of all non-positional features. If there are none, returns
+   * an immutable empty list.
    * 
    * @return
    */
+  public List<SequenceFeature> getNonPositionalFeatures(
+          List<SequenceFeature> result)
+  {
+    if (nonPositionalFeatures != null)
+    {
+      result.addAll(nonPositionalFeatures);
+    }
+    return result;
+  }
 
-  public int getTotalFeatureLength()
+  public List<SequenceFeature> getPositionalFeatures()
   {
-    return totalExtent;
+    return getPositionalFeatures(new ArrayList<>());
+  }
+
+  /**
+   * Answers a list of all positional features stored, in no guaranteed order
+   * 
+   * @return
+   */
+  public List<SequenceFeature> getPositionalFeatures(
+          List<SequenceFeature> result)
+  {
+
+    /*
+     * add any contact features - from the list by start position
+     */
+    if (contactFeatureStarts != null)
+    {
+      result.addAll(contactFeatureStarts);
+    }
+
+    /*
+     * add any nested features
+     */
+    if (features != null)
+    {
+      result.addAll(features);
+    }
+
+    return result;
   }
 
   /**
-   * Answers the minimum score held for positional or non-positional features.
-   * This may be Float.NaN if there are no features, are none has a non-NaN
-   * score.
+   * Answers the total length of positional features (or zero if there are
+   * none). Contact features contribute a value of 1 to the total.
    * 
-   * @param positional
    * @return
    */
-
-  public float getMinimumScore(boolean positional)
+  public int getTotalFeatureLength()
   {
-    return positional ? positionalMinScore : nonPositionalMinScore;
+    return totalExtent;
   }
 
   /**
-   * Answers the maximum score held for positional or non-positional features.
-   * This may be Float.NaN if there are no features, are none has a non-NaN
-   * score.
+   * Answers true if this store has no features, else false
    * 
-   * @param positional
    * @return
    */
-
-  public float getMaximumScore(boolean positional)
+  public boolean isEmpty()
   {
-    return positional ? positionalMaxScore : nonPositionalMaxScore;
+    boolean hasFeatures = (contactFeatureStarts != null
+            && !contactFeatureStarts.isEmpty())
+            || (nonPositionalFeatures != null
+                    && !nonPositionalFeatures.isEmpty())
+            || features.size() > 0;
+
+    return !hasFeatures;
   }
 
   /**
-   * Answers a list of all either positional or non-positional features whose
-   * feature group matches the given group (which may be null)
-   * 
-   * @param positional
-   * @param group
-   * @return
+   * Rescan all features to recompute any cached values after an entry has been
+   * deleted. This is expected to be an infrequent event, so performance here is
+   * not critical.
    */
-
-  public List<SequenceFeature> getFeaturesForGroup(boolean positional,
-          String group)
+  protected synchronized void rescanAfterDelete()
   {
-    List<SequenceFeature> result = new ArrayList<>();
-
+    positionalFeatureGroups.clear();
+    nonPositionalFeatureGroups.clear();
+    totalExtent = 0;
+    positionalMinScore = Float.NaN;
+    positionalMaxScore = Float.NaN;
+    nonPositionalMinScore = Float.NaN;
+    nonPositionalMaxScore = Float.NaN;
     /*
-     * if we know features don't include the target group, no need
-     * to inspect them for matches
+     * scan non-positional features for groups and scores
      */
-    if (positional && !positionalFeatureGroups.contains(group)
-            || !positional && !nonPositionalFeatureGroups.contains(group))
+    if (nonPositionalFeatures != null)
     {
-      return result;
+      List<SequenceFeature> list = nonPositionalFeatures;
+      for (int i = 0, n = list.size(); i < n; i++)
+      {
+        SequenceFeature sf = list.get(i);
+        nonPositionalFeatureGroups.add(sf.getFeatureGroup());
+        float score = sf.getScore();
+        nonPositionalMinScore = min(nonPositionalMinScore, score);
+        nonPositionalMaxScore = max(nonPositionalMaxScore, score);
+      }
     }
 
-    List<SequenceFeature> sfs = positional ? getPositionalFeatures()
-            : getNonPositionalFeatures();
+    /*
+     * scan positional features for groups, scores and extents
+     */
+
+    rescanPositional(contactFeatureStarts);
+    rescanPositional(features);
+  }
+
+  private void rescanPositional(Collection<SequenceFeature> sfs)
+  {
+    if (sfs == null)
+    {
+      return;
+    }
     for (SequenceFeature sf : sfs)
     {
-      String featureGroup = sf.getFeatureGroup();
-      if (group == null && featureGroup == null
-              || group != null && group.equals(featureGroup))
-      {
-        result.add(sf);
-      }
+      positionalFeatureGroups.add(sf.getFeatureGroup());
+      float score = sf.getScore();
+      positionalMinScore = min(positionalMinScore, score);
+      positionalMaxScore = max(positionalMaxScore, score);
+      totalExtent += getFeatureLength(sf);
     }
-    return result;
   }
 
   /**
@@ -836,7 +793,6 @@ public class FeatureStore
    * @param shiftBy
    * @return
    */
-
   public synchronized boolean shiftFeatures(int fromPosition, int shiftBy)
   {
     /*
@@ -845,8 +801,10 @@ public class FeatureStore
      * (Although a simple shift of all values would preserve data integrity!)
      */
     boolean modified = false;
-    for (SequenceFeature sf : getPositionalFeatures())
+    List<SequenceFeature> list = getPositionalFeatures();
+    for (int i = 0, n = list.size(); i < n; i++)
     {
+      SequenceFeature sf = list.get(i);
       if (sf.getBegin() >= fromPosition)
       {
         modified = true;
@@ -869,301 +827,163 @@ public class FeatureStore
     return modified;
   }
 
-  /////////////////////// added by Bob Hanson ///////////////////////
-
-  // The following methods use a linked list of containment in features
-  // rather than IntervalStore. Implemented only for OverviewPanel, because
-  // only that makes calls for start == end in feature overlap requests.
-  //
-  //
-  // There are two parts --- initialization, and overlap searching.
-  //
-  // Initialization involves two steps:
-  //
-  // (1) sorting of features by start position using a standard Array.sort with
-  // Comparator.
-  // (2) linking of features, effectively nesting them.
-  //
-  // Searching also involves two steps:
-  //
-  // (1) binary search for a position within the sorted features array.
-  // (2) traversing the linked lists with an end check to read out the
-  // overlapped features at this position.
-  //
-  // All of this is done with very simple standard methods.
-
-  // single public method:
-
   /**
-   * Find all features containing this position.
+   * Answers the position (0, 1...) in the list of the first entry whose end
+   * position is not less than {@ pos}. If no such entry is found, answers the
+   * length of the list.
    * 
+   * @param list
    * @param pos
-   * @return list of SequenceFeatures
-   * @author Bob Hanson 2019.07.30
-   */
-
-  public List<SequenceFeature> findOverlappingFeatures(int pos,
-          List<SequenceFeature> result)
-  {
-    if (result == null)
-    {
-      result = new ArrayList<>();
-    }
-
-    if (contactFeatureStarts != null)
-    {
-      findContacts(contactFeatureStarts, pos, result, true);
-      findContacts(contactFeatureEnds, pos, result, false);
-    }
-    if (featuresList != null)
-    {
-      findOverlaps(featuresList, pos, result);
-    }
-    return result;
-  }
-
-  // Initialization
-
-  /*
-   * contact features ordered by first contact position
+   * @return
    */
-  private SequenceFeature[] orderedFeatureStarts;
-
-  private void rebuildArrays(int n)
+  protected int findFirstEnd(List<SequenceFeature> list, long pos)
   {
-    if (startComp == null)
-    {
-      startComp = new StartComparator();
-    }
-    orderedFeatureStarts = new SequenceFeature[n];
-    for (int i = n; --i >= 0;)
-    {
-      SequenceFeature sf = featuresList.get(i);
-      sf.index = i; // for debugging only
-      orderedFeatureStarts[i] = sf;
-    }
-    Arrays.sort(orderedFeatureStarts, startComp);
-    linkFeatures(orderedFeatureStarts);
+    return BinarySearcher.findFirst(list, false, Compare.GE, (int) pos);
   }
 
   /**
-   * just a standard Comparator
+   * Adds contact features to the result list where either the second or the
+   * first contact position lies within the target range
+   * 
+   * @param from
+   * @param to
+   * @param result
    */
-  private static StartComparator startComp;
-
-  class StartComparator implements Comparator<SequenceFeature>
+  protected void findContactFeatures(long from, long to,
+          List<SequenceFeature> result)
   {
-
-    @Override
-    public int compare(SequenceFeature o1, SequenceFeature o2)
+    if (contactFeatureStarts != null)
     {
-      int p1 = o1.begin;
-      int p2 = o2.begin;
-      return (p1 < p2 ? -1 : p1 > p2 ? 1 : 0);
+      findContactStartOverlaps(from, to, result);
+      findContactEndOverlaps(from, to, result);
     }
-
   }
 
   /**
-   * Run through the sorted sequence array once, building the containedBy linked
-   * list references. Does a check first to make sure there is actually
-   * something out there that is overlapping. A null for sf.containedBy means
-   * there are no overlaps for this feature.
+   * Adds to the result list any contact features whose end (second contact
+   * point), but not start (first contact point), lies in the query from-to
+   * range
    * 
-   * @param intervals
+   * @param from
+   * @param to
+   * @param result
    */
-  private void linkFeatures(SequenceFeature[] intervals)
+  private void findContactEndOverlaps(long from, long to,
+          List<SequenceFeature> result)
   {
-    if (intervals.length < 2)
-    {
-      return;
-    }
-    int maxEnd = intervals[0].end;
-    for (int i = 1, n = intervals.length; i < n; i++)
+    /*
+     * find the first contact feature (if any) 
+     * whose end point is not before the target range
+     */
+    int index = findFirstEnd(contactFeatureEnds, from);
+
+    int n = contactFeatureEnds.size();
+    while (index < n)
     {
-      SequenceFeature sf = intervals[i];
-      if (sf.begin <= maxEnd)
-      {
-        sf.containedBy = getContainedBy(intervals[i - 1], sf);
-      }
-      if (sf.end > maxEnd)
+      SequenceFeature sf = contactFeatureEnds.get(index);
+      if (!sf.isContactFeature())
       {
-        maxEnd = sf.end;
+        System.err.println("Error! non-contact feature type " + sf.getType()
+                + " in contact features list");
+        index++;
+        continue;
       }
-    }
-  }
 
-  /**
-   * Since we are traversing the sorted feature array in a forward direction,
-   * all elements prior to the one we are working on have been fully linked. All
-   * we are doing is following those links until we find the first array feature
-   * with a containedBy element that has an end &gt;= our begin point. It is
-   * generally a very short list -- maybe one or two depths. But it might be
-   * more than that.
-   * 
-   * @param sf
-   * @param sf0
-   * @return
-   */
-  private SequenceFeature getContainedBy(SequenceFeature sf,
-          SequenceFeature sf0)
-  {
-    int begin = sf0.begin;
-    while (sf != null)
-    {
-      if (begin <= sf.end)
+      int begin = sf.getBegin();
+      if (begin >= from && begin <= to)
       {
-        System.out.println("\nFS found " + sf0.index + ":" + sf0
-                + "\nFS in    " + sf.index + ":" + sf);
-        return sf;
+        /*
+         * this feature's first contact position lies in the search range
+         * so we don't include it in results a second time
+         */
+        index++;
+        continue;
       }
-      sf = sf.containedBy;
-    }
-    return null;
-  }
 
-  // search-stage methods
-
-  /**
-   * Binary search for contact start or end at a given (Overview) position.
-   * 
-   * @param l
-   * @param pos
-   * @param result
-   * @param isStart
-   * 
-   * @author Bob Hanson 2019.07.30
-   */
-  private static void findContacts(List<SequenceFeature> l, int pos,
-          List<SequenceFeature> result, boolean isStart)
-  {
-    int low = 0;
-    int high = l.size() - 1;
-    while (low <= high)
-    {
-      int mid = (low + high) >>> 1;
-      SequenceFeature f = l.get(mid);
-      switch (Long.signum((isStart ? f.begin : f.end) - pos))
+      if (sf.getEnd() > to)
       {
-      case -1:
-        low = mid + 1;
-        continue;
-      case 1:
-        high = mid - 1;
-        continue;
-      case 0:
-        int m = mid;
-        result.add(f);
-        // could be "5" in 12345556788 ?
-        while (++mid <= high && (f = l.get(mid)) != null
-                && (isStart ? f.begin : f.end) == pos)
-        {
-          result.add(f);
-        }
-        while (--m >= low && (f = l.get(m)) != null
-                && (isStart ? f.begin : f.end) == pos)
-        {
-          result.add(f);
-        }
-        return;
+        /*
+         * this feature (and all following) has end point after the target range
+         */
+        break;
       }
+
+      /*
+       * feature has end >= from and end <= to
+       * i.e. contact end point lies within overlap search range
+       */
+      result.add(sf);
+      index++;
     }
   }
 
   /**
-   * Find all overlaps; special case when there is only one feature. The
-   * required array of start-sorted SequenceFeature is created lazily.
+   * Adds contact features whose start position lies in the from-to range to the
+   * result list
    * 
-   * @param features
-   * @param pos
+   * @param from
+   * @param to
    * @param result
    */
-  private void findOverlaps(List<SequenceFeature> features, int pos,
+  private void findContactStartOverlaps(long from, long to,
           List<SequenceFeature> result)
   {
-    int n = featuresList.size();
-    if (n == 1)
-    {
-      checkOne(featuresList.get(0), pos, result);
-      return;
-    }
-    if (orderedFeatureStarts == null)
-    {
-      rebuildArrays(n);
-    }
-
-    // (1) Find the closest feature to this position.
-
-    SequenceFeature sf = findClosestFeature(orderedFeatureStarts, pos);
-
-    // (2) Traverse the containedBy field, checking for overlap.
+    int index = BinarySearcher.findFirst(contactFeatureStarts, true,
+            Compare.GE, (int) from);
 
-    while (sf != null)
+    while (index < contactFeatureStarts.size())
     {
-      if (sf.end >= pos)
+      SequenceFeature sf = contactFeatureStarts.get(index);
+      if (!sf.isContactFeature())
       {
-        result.add(sf);
+        System.err.println("Error! non-contact feature " + sf.toString()
+                + " in contact features list");
+        index++;
+        continue;
+      }
+      if (sf.getBegin() > to)
+      {
+        /*
+         * this feature's start (and all following) follows the target range
+         */
+        break;
       }
-      sf = sf.containedBy;
+
+      /*
+       * feature has begin >= from and begin <= to
+       * i.e. contact start point lies within overlap search range
+       */
+      result.add(sf);
+      index++;
     }
   }
 
   /**
-   * Quick check when we only have one feature.
+   * Returns a (possibly empty) list of features whose extent overlaps the given
+   * range. The returned list is not ordered. Contact features are included if
+   * either of the contact points lies within the range. If the {@code result}
+   * parameter is not null, new entries are added to this list and the (possibly
+   * extended) list returned.
    * 
-   * @param sf
-   * @param pos
+   * @param start
+   *          start position of overlap range (inclusive)
+   * @param end
+   *          end position of overlap range (inclusive)
    * @param result
+   * @return
    */
-  private void checkOne(SequenceFeature sf, int pos,
+  public List<SequenceFeature> findOverlappingFeatures(long start, long end,
           List<SequenceFeature> result)
   {
-    if (sf.begin <= pos && sf.end >= pos)
+    if (result == null)
     {
-      result.add(sf);
+      result = new ArrayList<>();
     }
-    return;
-  }
 
-  /**
-   * A binary search identical to the one used for contact start/end, but here
-   * we return the feature itself. Unlike Collection.BinarySearch, all we have
-   * to be is close, not exact, and we make sure if there is a string of
-   * identical starts, then we slide to the end so that we can check all of
-   * them.
-   * 
-   * @param l
-   * @param pos
-   * @return
-   */
-  private SequenceFeature findClosestFeature(SequenceFeature[] l, int pos)
-  {
-    int low = 0;
-    int high = l.length - 1;
-    while (low <= high)
-    {
-      int mid = (low + high) >>> 1;
-      SequenceFeature f = l[mid];
-      switch (Long.signum(f.begin - pos))
-      {
-      case -1:
-        low = mid + 1;
-        continue;
-      case 1:
-        high = mid - 1;
-        continue;
-      case 0:
+    findContactFeatures(start, end, result);
+    features.findOverlaps(start, end, result);
 
-        while (++mid <= high && l[mid].begin == pos)
-        {
-          ;
-        }
-        return l[--mid];
-      }
-    }
-    // -1 here?
-    return (high < 0 || low >= l.length ? null : l[high]);
+    return result;
   }
 
-
 }