JAL-1965 refactored SeqIdName to public class, and more tests for word generation
[jalview.git] / src / jalview / analysis / SequenceIdMatcher.java
index a502523..c0981a1 100755 (executable)
@@ -1,26 +1,34 @@
 /*
- * Jalview - A Sequence Alignment Editor and Viewer (Version 2.8.1)
- * Copyright (C) 2014 The Jalview Authors
+ * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
+ * Copyright (C) $$Year-Rel$$ The Jalview Authors
  * 
  * This file is part of Jalview.
  * 
  * Jalview is free software: you can redistribute it and/or
  * modify it under the terms of the GNU General Public License 
- * as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version.
+ * as published by the Free Software Foundation, either version 3
+ * of the License, or (at your option) any later version.
  *  
  * Jalview is distributed in the hope that it will be useful, but 
  * WITHOUT ANY WARRANTY; without even the implied warranty 
  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR 
  * PURPOSE.  See the GNU General Public License for more details.
  * 
- * You should have received a copy of the GNU General Public License along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
+ * You should have received a copy of the GNU General Public License
+ * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  * The Jalview Authors are detailed in the 'AUTHORS' file.
  */
 package jalview.analysis;
 
-import java.util.*;
+import jalview.datamodel.DBRefEntry;
+import jalview.datamodel.SequenceI;
 
-import jalview.datamodel.*;
+import java.util.ArrayList;
+import java.util.Arrays;
+import java.util.HashMap;
+import java.util.HashSet;
+import java.util.List;
+import java.util.Set;
 
 /**
  * Routines for approximate Sequence Id resolution by name using string
@@ -30,31 +38,186 @@ import jalview.datamodel.*;
  */
 public class SequenceIdMatcher
 {
-  private Hashtable names;
+  /**
+   * weak hash for each sequence
+   */
+  private HashMap<SeqIdName, Set<SequenceI>> names;
+
+  // /**
+  // * cache of values removed for each query string.
+  // */
+  // private HashMap<String, List<SequenceI>> resolved;
+
+  /**
+   * do we index sequences on all 'words' in ID string ?
+   */
+  private boolean wordBased = false;
+
+  /**
+   * Characters that define the end of a unique sequence ID at the beginning of
+   * an arbitrary ID string JBPNote: This is a heuristic that will fail for
+   * arbritrarily extended sequence id's (like portions of an aligned set of
+   * repeats from one sequence)
+   */
+  static String WORD_SEP = "~. |#\\/<>!\"" + ((char) 0x00A4)
+          + "$%^*)}[@',?_";
+
+  /**
+   * @return true if matcher is word-based (ie string key matches one of the
+   *         words within the body of one or more sequence IDs)
+   */
+  public boolean isWordBased()
+  {
+    return wordBased;
+  }
+
+  /**
+   * Construct a standard (non-word based) matcher. To configure word based
+   * matching, use the fully qualified constructor
+   * 
+   * @param seqs
+   */
+  public SequenceIdMatcher(List<SequenceI> seqs)
+  {
+    this(false, seqs);
+  }
+
+  /**
+   * construct a new matcher for a set of sequences, configured as required.
+   * Note: enabling word based matching
+   * 
+   * @param wordBasedMatch
+   *          - when true, "myseq" matches "X|myseq" and "myseq"
+   * @param seqs
+   */
+  public SequenceIdMatcher(boolean wordBasedMatch, List<SequenceI> seqs)
+  {
+    wordBased = wordBasedMatch;
+    names = new HashMap<SeqIdName, Set<SequenceI>>();
+    addAll(seqs);
+  }
 
-  public SequenceIdMatcher(SequenceI[] seqs)
+  /**
+   * add more sequences to this matcher - also used by the constructor
+   * 
+   * @param seqs
+   */
+  public void addAll(List<SequenceI> seqs)
   {
-    names = new Hashtable();
-    for (int i = 0; i < seqs.length; i++)
+    for (SequenceI seq : seqs)
     {
-      // TODO: deal with ID collisions - SequenceI should be appended to list
-      // associated with this key.
-      names.put(new SeqIdName(seqs[i].getDisplayId(true)), seqs[i]);
-      // add in any interesting identifiers
-      if (seqs[i].getDBRef() != null)
+      addSeq(seq);
+    }
+  }
+
+  private void addSeqIdName(SeqIdName idname, SequenceI seq)
+  {
+    Set<SequenceI> seqset = names.get(idname);
+    if (seqset == null)
+    {
+      seqset = new HashSet<SequenceI>();
+      names.put(idname, seqset);
+    }
+    seqset.add(seq);
+  }
+
+  public void addSeq(SequenceI seq)
+  {
+    // TODO: deal with ID collisions - SequenceI should be appended to list
+    // associated with this key.
+    addSeqIdName(new SeqIdName(seq.getDisplayId(true)), seq);
+    if (wordBased)
+    {
+      for (SeqIdName key : getWordsFor(seq))
+      {
+        addSeqIdName(key, seq);
+      }
+    }
+    SequenceI dbseq = seq;
+    // TODO add test for database xref resolution
+    while (dbseq.getDatasetSequence() != null)
+    {
+      dbseq = dbseq.getDatasetSequence();
+    }
+    // add in any interesting identifiers
+    if (dbseq.getDBRefs() != null)
+    {
+      DBRefEntry dbr[] = dbseq.getDBRefs();
+      SeqIdName sid = null;
+      for (int r = 0; r < dbr.length; r++)
       {
-        DBRefEntry dbr[] = seqs[i].getDBRef();
-        SeqIdName sid = null;
-        for (int r = 0; r < dbr.length; r++)
+        sid = new SeqIdName(dbr[r].getAccessionId());
+        if (!names.containsKey(sid))
         {
-          sid = new SeqIdName(dbr[r].getAccessionId());
-          if (!names.contains(sid))
+          addSeqIdName(sid, seq);
+        }
+      }
+    }
+  }
+
+  /**
+   * generate word based keys for the given sequence
+   * 
+   * @param seq
+   * @return list of split keys
+   */
+  public static List<SeqIdName> getWordsFor(SequenceI seq)
+  {
+    ArrayList<SeqIdName> keys = new ArrayList<SeqIdName>();
+    String name = seq.getName(), limits = "/" + seq.getStart() + "-"
+            + seq.getEnd();
+    int namel = name.length();
+    char[] sep = new char[WORD_SEP.length()];
+    // find only the separators present in the ID.
+    for (int i = 0; i < sep.length; i++)
+    {
+      sep[i] = WORD_SEP.charAt(i);
+      if (seq.getName().indexOf("" + sep[i]) == -1)
+      {
+        sep[i] = 0;
+      }
+    }
+    ;
+    // make words
+    for (int i = 0; i < sep.length; i++)
+    {
+      if (sep[i] > 0)
+      {
+        int p = 0, m = -1;
+        while ((m = name.indexOf(sep[i], p)) > p)
+        {
+
+          if (m > 0 && m - p > 5)
           {
-            names.put(sid, seqs[i]);
+            // split to end of word m with this delimiter
+            keys.add(new SeqIdName(name.substring(p, m - 1) + limits));
           }
+          if (namel - m > 5)
+          {
+            // index word after this delimiter m
+            keys.add(new SeqIdName(name.substring(m + 1) + limits));
+          }
+          p = m + 1;
+        }
+        if (namel - p > 4)
+        {
+          // index word after this delimiter m
+          keys.add(new SeqIdName(name.substring(p) + limits));
         }
       }
     }
+    return keys;
+  }
+
+  /**
+   * convenience method to make a matcher from concrete array Note: in order to
+   * support word based matching, use the fully qualified constructor
+   * 
+   * @param sequences
+   */
+  public SequenceIdMatcher(SequenceI[] sequences)
+  {
+    this(Arrays.asList(sequences));
   }
 
   /**
@@ -64,13 +227,14 @@ public class SequenceIdMatcher
    * @param candName
    *          SeqIdName
    * @param matches
-   *          Vector of SequenceI objects
+   *          List of SequenceI objects
    * @return SequenceI closest SequenceI to SeqIdName
    */
-  private SequenceI pickbestMatch(SeqIdName candName, Vector matches)
+  private SequenceI pickbestMatch(SeqIdName candName,
+          List<SequenceI> matches)
   {
-    SequenceI[] st = pickbestMatches(candName, matches);
-    return st == null || st.length == 0 ? null : st[0];
+    List<SequenceI> st = pickbestMatches(candName, matches);
+    return st == null || st.size() == 0 ? null : st.get(0);
   }
 
   /**
@@ -84,41 +248,48 @@ public class SequenceIdMatcher
    * @return Object[] { SequenceI closest SequenceI to SeqIdName, SequenceI[]
    *         ties }
    */
-  private SequenceI[] pickbestMatches(SeqIdName candName, Vector matches)
+  private List<SequenceI> pickbestMatches(SeqIdName candName,
+          List<SequenceI> matches)
   {
-    ArrayList best = new ArrayList();
-    SequenceI match = null;
+    ArrayList<SequenceI> best = new ArrayList<SequenceI>();
     if (candName == null || matches == null || matches.size() == 0)
     {
       return null;
     }
-    match = (SequenceI) matches.elementAt(0);
-    matches.removeElementAt(0);
+    SequenceI match = matches.remove(0);
     best.add(match);
-    names.put(new SeqIdName(match.getName()), match);
+    addSeq(match);
     int matchlen = match.getName().length();
     int namlen = candName.id.length();
     while (matches.size() > 0)
     {
       // look through for a better one.
-      SequenceI cand = (SequenceI) matches.elementAt(0);
-      matches.remove(0);
-      names.put(new SeqIdName(cand.getName()), cand);
+      SequenceI cand = matches.remove(0);
+      addSeq(cand);
       int q, w, candlen = cand.getName().length();
       // keep the one with an id 'closer' to the given seqnam string
-      if ((q = Math.abs(matchlen - namlen)) > (w = Math.abs(candlen
-              - namlen))
-              && candlen > matchlen)
+      boolean is_closer = ((q = Math.abs(matchlen - namlen)) > (w = Math
+              .abs(candlen - namlen)) && candlen > matchlen);
+      // if not closer, then check if current best is actually identical in case
+      // as
+      // well
+      if (is_closer
+              || (candName.equalsCase(cand.getName()) && !candName
+                      .equalsCase(best.get(0).getName())))
       {
         best.clear();
         match = cand;
         matchlen = candlen;
         best.add(match);
       }
-      if (q == w && candlen == matchlen)
+      else
       {
-        // record any ties
-        best.add(cand);
+        if (q == w && candlen == matchlen)
+        {
+          // equivalently good, and matches with case as well. so
+          // record any ties
+          best.add(cand);
+        }
       }
     }
     if (best.size() == 0)
@@ -126,7 +297,7 @@ public class SequenceIdMatcher
       return null;
     }
     ;
-    return (SequenceI[]) best.toArray(new SequenceI[0]);
+    return best;
   }
 
   /**
@@ -153,12 +324,18 @@ public class SequenceIdMatcher
    * 
    * @param seqnam
    *          string to query Matcher with.
+   * @return a new array or (possibly) null
    */
   public SequenceI[] findAllIdMatches(String seqnam)
   {
 
     SeqIdName nam = new SeqIdName(seqnam);
-    return findAllIdMatches(nam);
+    List<SequenceI> m = findAllIdMatches(nam);
+    if (m != null)
+    {
+      return m.toArray(new SequenceI[m.size()]);
+    }
+    return null;
   }
 
   /**
@@ -206,12 +383,12 @@ public class SequenceIdMatcher
    * @return SequenceI
    */
   private SequenceI findIdMatch(
-          jalview.analysis.SequenceIdMatcher.SeqIdName nam)
+          jalview.analysis.SeqIdName nam)
   {
-    Vector matches = new Vector();
+    ArrayList<SequenceI> matches = new ArrayList<SequenceI>();
     while (names.containsKey(nam))
     {
-      matches.addElement(names.remove(nam));
+      matches.addAll(names.remove(nam));
     }
     return pickbestMatch(nam, matches);
   }
@@ -223,103 +400,15 @@ public class SequenceIdMatcher
    *          SeqIdName
    * @return SequenceI[]
    */
-  private SequenceI[] findAllIdMatches(
-          jalview.analysis.SequenceIdMatcher.SeqIdName nam)
+  private List<SequenceI> findAllIdMatches(
+          jalview.analysis.SeqIdName nam)
   {
-    Vector matches = new Vector();
+    ArrayList<SequenceI> matches = new ArrayList<SequenceI>();
     while (names.containsKey(nam))
     {
-      matches.addElement(names.remove(nam));
+      matches.addAll(names.remove(nam));
     }
-    SequenceI[] r = pickbestMatches(nam, matches);
+    List<SequenceI> r = pickbestMatches(nam, matches);
     return r;
   }
-
-  private class SeqIdName
-  {
-    String id;
-
-    SeqIdName(String s)
-    {
-      if (s != null)
-      {
-        id = new String(s);
-      }
-      else
-      {
-        id = "";
-      }
-    }
-
-    public int hashCode()
-    {
-      return ((id.length() >= 4) ? id.substring(0, 4).hashCode() : id
-              .hashCode());
-    }
-
-    public boolean equals(Object s)
-    {
-      if (s instanceof SeqIdName)
-      {
-        return this.equals((SeqIdName) s);
-      }
-      else
-      {
-        if (s instanceof String)
-        {
-          return this.equals((String) s);
-        }
-      }
-
-      return false;
-    }
-
-    /**
-     * Characters that define the end of a unique sequence ID at the beginning
-     * of an arbitrary ID string JBPNote: This is a heuristic that will fail for
-     * arbritrarily extended sequence id's (like portions of an aligned set of
-     * repeats from one sequence)
-     */
-    private String WORD_SEP = "~. |#\\/<>!\"" + ((char) 0x00A4)
-            + "$%^*)}[@',?_";
-
-    /**
-     * matches if one ID properly contains another at a whitespace boundary.
-     * TODO: (JBPNote) These are not efficient. should use char[] for speed
-     * todo: (JBPNote) Set separator characters appropriately
-     * 
-     * @param s
-     *          SeqIdName
-     * @return boolean
-     */
-    public boolean equals(SeqIdName s)
-    {
-      // TODO: JAL-732 patch for cases when name includes a list of IDs, and the
-      // match contains one ID flanked
-      if (id.length() > s.id.length())
-      {
-        return id.startsWith(s.id) ? (WORD_SEP.indexOf(id.charAt(s.id
-                .length())) > -1) : false;
-      }
-      else
-      {
-        return s.id.startsWith(id) ? (s.id.equals(id) ? true : (WORD_SEP
-                .indexOf(s.id.charAt(id.length())) > -1)) : false;
-      }
-    }
-
-    public boolean equals(String s)
-    {
-      if (id.length() > s.length())
-      {
-        return id.startsWith(s) ? (WORD_SEP.indexOf(id.charAt(s.length())) > -1)
-                : false;
-      }
-      else
-      {
-        return s.startsWith(id) ? (s.equals(id) ? true : (WORD_SEP
-                .indexOf(s.charAt(id.length())) > -1)) : false;
-      }
-    }
-  }
 }