JAL-1965 refactored SeqIdName to public class, and more tests for word generation
[jalview.git] / src / jalview / analysis / SequenceIdMatcher.java
index 8dda255..c0981a1 100755 (executable)
@@ -26,8 +26,9 @@ import jalview.datamodel.SequenceI;
 import java.util.ArrayList;
 import java.util.Arrays;
 import java.util.HashMap;
+import java.util.HashSet;
 import java.util.List;
-import java.util.Vector;
+import java.util.Set;
 
 /**
  * Routines for approximate Sequence Id resolution by name using string
@@ -37,11 +38,62 @@ import java.util.Vector;
  */
 public class SequenceIdMatcher
 {
-  private HashMap<SeqIdName, SequenceI> names;
+  /**
+   * weak hash for each sequence
+   */
+  private HashMap<SeqIdName, Set<SequenceI>> names;
+
+  // /**
+  // * cache of values removed for each query string.
+  // */
+  // private HashMap<String, List<SequenceI>> resolved;
+
+  /**
+   * do we index sequences on all 'words' in ID string ?
+   */
+  private boolean wordBased = false;
+
+  /**
+   * Characters that define the end of a unique sequence ID at the beginning of
+   * an arbitrary ID string JBPNote: This is a heuristic that will fail for
+   * arbritrarily extended sequence id's (like portions of an aligned set of
+   * repeats from one sequence)
+   */
+  static String WORD_SEP = "~. |#\\/<>!\"" + ((char) 0x00A4)
+          + "$%^*)}[@',?_";
+
+  /**
+   * @return true if matcher is word-based (ie string key matches one of the
+   *         words within the body of one or more sequence IDs)
+   */
+  public boolean isWordBased()
+  {
+    return wordBased;
+  }
 
+  /**
+   * Construct a standard (non-word based) matcher. To configure word based
+   * matching, use the fully qualified constructor
+   * 
+   * @param seqs
+   */
   public SequenceIdMatcher(List<SequenceI> seqs)
   {
-    names = new HashMap<SeqIdName, SequenceI>();
+    this(false, seqs);
+  }
+
+  /**
+   * construct a new matcher for a set of sequences, configured as required.
+   * Note: enabling word based matching
+   * 
+   * @param wordBasedMatch
+   *          - when true, "myseq" matches "X|myseq" and "myseq"
+   * @param seqs
+   */
+  public SequenceIdMatcher(boolean wordBasedMatch, List<SequenceI> seqs)
+  {
+    wordBased = wordBasedMatch;
+    names = new HashMap<SeqIdName, Set<SequenceI>>();
     addAll(seqs);
   }
 
@@ -54,33 +106,112 @@ public class SequenceIdMatcher
   {
     for (SequenceI seq : seqs)
     {
-      // TODO: deal with ID collisions - SequenceI should be appended to list
-      // associated with this key.
-      names.put(new SeqIdName(seq.getDisplayId(true)), seq);
-      SequenceI dbseq = seq;
-      while (dbseq.getDatasetSequence() != null)
+      addSeq(seq);
+    }
+  }
+
+  private void addSeqIdName(SeqIdName idname, SequenceI seq)
+  {
+    Set<SequenceI> seqset = names.get(idname);
+    if (seqset == null)
+    {
+      seqset = new HashSet<SequenceI>();
+      names.put(idname, seqset);
+    }
+    seqset.add(seq);
+  }
+
+  public void addSeq(SequenceI seq)
+  {
+    // TODO: deal with ID collisions - SequenceI should be appended to list
+    // associated with this key.
+    addSeqIdName(new SeqIdName(seq.getDisplayId(true)), seq);
+    if (wordBased)
+    {
+      for (SeqIdName key : getWordsFor(seq))
+      {
+        addSeqIdName(key, seq);
+      }
+    }
+    SequenceI dbseq = seq;
+    // TODO add test for database xref resolution
+    while (dbseq.getDatasetSequence() != null)
+    {
+      dbseq = dbseq.getDatasetSequence();
+    }
+    // add in any interesting identifiers
+    if (dbseq.getDBRefs() != null)
+    {
+      DBRefEntry dbr[] = dbseq.getDBRefs();
+      SeqIdName sid = null;
+      for (int r = 0; r < dbr.length; r++)
+      {
+        sid = new SeqIdName(dbr[r].getAccessionId());
+        if (!names.containsKey(sid))
+        {
+          addSeqIdName(sid, seq);
+        }
+      }
+    }
+  }
+
+  /**
+   * generate word based keys for the given sequence
+   * 
+   * @param seq
+   * @return list of split keys
+   */
+  public static List<SeqIdName> getWordsFor(SequenceI seq)
+  {
+    ArrayList<SeqIdName> keys = new ArrayList<SeqIdName>();
+    String name = seq.getName(), limits = "/" + seq.getStart() + "-"
+            + seq.getEnd();
+    int namel = name.length();
+    char[] sep = new char[WORD_SEP.length()];
+    // find only the separators present in the ID.
+    for (int i = 0; i < sep.length; i++)
+    {
+      sep[i] = WORD_SEP.charAt(i);
+      if (seq.getName().indexOf("" + sep[i]) == -1)
       {
-        dbseq = dbseq.getDatasetSequence();
+        sep[i] = 0;
       }
-      // add in any interesting identifiers
-      if (dbseq.getDBRefs() != null)
+    }
+    ;
+    // make words
+    for (int i = 0; i < sep.length; i++)
+    {
+      if (sep[i] > 0)
       {
-        DBRefEntry dbr[] = dbseq.getDBRefs();
-        SeqIdName sid = null;
-        for (int r = 0; r < dbr.length; r++)
+        int p = 0, m = -1;
+        while ((m = name.indexOf(sep[i], p)) > p)
         {
-          sid = new SeqIdName(dbr[r].getAccessionId());
-          if (!names.containsKey(sid))
+
+          if (m > 0 && m - p > 5)
+          {
+            // split to end of word m with this delimiter
+            keys.add(new SeqIdName(name.substring(p, m - 1) + limits));
+          }
+          if (namel - m > 5)
           {
-            names.put(sid, seq);
+            // index word after this delimiter m
+            keys.add(new SeqIdName(name.substring(m + 1) + limits));
           }
+          p = m + 1;
+        }
+        if (namel - p > 4)
+        {
+          // index word after this delimiter m
+          keys.add(new SeqIdName(name.substring(p) + limits));
         }
       }
     }
+    return keys;
   }
 
   /**
-   * convenience method to make a matcher from concrete array
+   * convenience method to make a matcher from concrete array Note: in order to
+   * support word based matching, use the fully qualified constructor
    * 
    * @param sequences
    */
@@ -127,29 +258,38 @@ public class SequenceIdMatcher
     }
     SequenceI match = matches.remove(0);
     best.add(match);
-    names.put(new SeqIdName(match.getName()), match);
+    addSeq(match);
     int matchlen = match.getName().length();
     int namlen = candName.id.length();
     while (matches.size() > 0)
     {
       // look through for a better one.
       SequenceI cand = matches.remove(0);
-      names.put(new SeqIdName(cand.getName()), cand);
+      addSeq(cand);
       int q, w, candlen = cand.getName().length();
       // keep the one with an id 'closer' to the given seqnam string
-      if ((q = Math.abs(matchlen - namlen)) > (w = Math.abs(candlen
-              - namlen))
-              && candlen > matchlen)
+      boolean is_closer = ((q = Math.abs(matchlen - namlen)) > (w = Math
+              .abs(candlen - namlen)) && candlen > matchlen);
+      // if not closer, then check if current best is actually identical in case
+      // as
+      // well
+      if (is_closer
+              || (candName.equalsCase(cand.getName()) && !candName
+                      .equalsCase(best.get(0).getName())))
       {
         best.clear();
         match = cand;
         matchlen = candlen;
         best.add(match);
       }
-      if (q == w && candlen == matchlen)
+      else
       {
-        // record any ties
-        best.add(cand);
+        if (q == w && candlen == matchlen)
+        {
+          // equivalently good, and matches with case as well. so
+          // record any ties
+          best.add(cand);
+        }
       }
     }
     if (best.size() == 0)
@@ -243,12 +383,12 @@ public class SequenceIdMatcher
    * @return SequenceI
    */
   private SequenceI findIdMatch(
-          jalview.analysis.SequenceIdMatcher.SeqIdName nam)
+          jalview.analysis.SeqIdName nam)
   {
-    Vector matches = new Vector();
+    ArrayList<SequenceI> matches = new ArrayList<SequenceI>();
     while (names.containsKey(nam))
     {
-      matches.addElement(names.remove(nam));
+      matches.addAll(names.remove(nam));
     }
     return pickbestMatch(nam, matches);
   }
@@ -261,142 +401,14 @@ public class SequenceIdMatcher
    * @return SequenceI[]
    */
   private List<SequenceI> findAllIdMatches(
-          jalview.analysis.SequenceIdMatcher.SeqIdName nam)
+          jalview.analysis.SeqIdName nam)
   {
     ArrayList<SequenceI> matches = new ArrayList<SequenceI>();
     while (names.containsKey(nam))
     {
-      matches.add(names.remove(nam));
+      matches.addAll(names.remove(nam));
     }
     List<SequenceI> r = pickbestMatches(nam, matches);
     return r;
   }
-
-  private class SeqIdName
-  {
-    String id;
-
-    SeqIdName(String s)
-    {
-      if (s != null)
-      {
-        id = new String(s).toLowerCase();
-      }
-      else
-      {
-        id = "";
-      }
-    }
-
-    @Override
-    public int hashCode()
-    {
-      return ((id.length() >= 4) ? id.substring(0, 4).hashCode() : id
-              .hashCode());
-    }
-
-    @Override
-    public boolean equals(Object s)
-    {
-      if (s == null)
-      {
-        return false;
-      }
-      if (s instanceof SeqIdName)
-      {
-        return this.equals((SeqIdName) s);
-      }
-      else
-      {
-        if (s instanceof String)
-        {
-          return this.equals((String) s);
-        }
-      }
-
-      return false;
-    }
-
-    /**
-     * Characters that define the end of a unique sequence ID at the beginning
-     * of an arbitrary ID string JBPNote: This is a heuristic that will fail for
-     * arbritrarily extended sequence id's (like portions of an aligned set of
-     * repeats from one sequence)
-     */
-    private String WORD_SEP = "~. |#\\/<>!\"" + ((char) 0x00A4)
-            + "$%^*)}[@',?_";
-
-    /**
-     * matches if one ID properly contains another at a whitespace boundary.
-     * TODO: (JBPNote) These are not efficient. should use char[] for speed
-     * todo: (JBPNote) Set separator characters appropriately
-     * 
-     * @param s
-     *          SeqIdName
-     * @return boolean
-     */
-    public boolean equals(SeqIdName s)
-    {
-      // TODO: JAL-732 patch for cases when name includes a list of IDs, and the
-      // match contains one ID flanked
-      if (id.length() > s.id.length())
-      {
-        return check_wordmatch(id, s.id);
-      }
-      else
-      {
-        return check_wordmatch(s.id, id);
-      }
-    }
-
-    private boolean check_wordmatch(String longer, String shorter)
-    {
-      boolean elen = longer.length() == shorter.length();
-      int sp = longer.indexOf(shorter);
-      if (sp == -1)
-      {
-        return false;
-      }
-
-      if (sp == 0)
-      {
-        // end of match is word boundary
-        return elen ? true : (WORD_SEP.indexOf(longer.charAt(shorter
-                .length() + sp)) > -1);
-      }
-      if (WORD_SEP.indexOf(longer.charAt(sp - 1)) > -1)
-      {
-        if (sp + shorter.length() == longer.length())
-        {
-          return true;
-        }
-        else
-        {
-          // end of match is word boundary
-          return elen ? false
-                  : sp + shorter.length() == longer.length() ? true
-                          : (WORD_SEP.indexOf(longer.charAt(shorter
-                                  .length() + sp)) > -1);
-        }
-      }
-      else
-      {
-        // prefix of match is not a word boundary
-        return false;
-      }
-    }
-
-    public boolean equals(String s)
-    {
-      s = s.toLowerCase(); // TODO: employ faster to lower case operation
-      if (id.length() > s.length())
-      {
-        return check_wordmatch(id, s);
-      }
-      else
-      {
-        return check_wordmatch(s, id);
-      }
-    }
-  }
 }