JAL-2089 patch broken merge to master for Release 2.10.0b1
[jalview.git] / src / jalview / util / DBRefUtils.java
index b8f1dd5..e6aa472 100755 (executable)
@@ -24,18 +24,25 @@ import jalview.datamodel.DBRefEntry;
 import jalview.datamodel.DBRefSource;
 import jalview.datamodel.PDBEntry;
 import jalview.datamodel.SequenceI;
-import jalview.ws.seqfetcher.DbSourceProxy;
 
 import java.util.ArrayList;
+import java.util.Arrays;
 import java.util.HashMap;
-import java.util.Hashtable;
+import java.util.HashSet;
 import java.util.List;
 import java.util.Map;
+import java.util.Set;
 
 import com.stevesoft.pat.Regex;
 
+/**
+ * Utilities for handling DBRef objects and their collections.
+ */
 public class DBRefUtils
 {
+  /*
+   * lookup from lower-case form of a name to its canonical (standardised) form
+   */
   private static Map<String, String> canonicalSourceNameLookup = new HashMap<String, String>();
 
   private static Map<String, String> dasCoordinateSystemsLookup = new HashMap<String, String>();
@@ -46,7 +53,25 @@ public class DBRefUtils
     canonicalSourceNameLookup.put("uniprotkb/swiss-prot",
             DBRefSource.UNIPROT);
     canonicalSourceNameLookup.put("uniprotkb/trembl", DBRefSource.UNIPROT);
+
+    // Ensembl values for dbname in xref REST service:
+    canonicalSourceNameLookup.put("uniprot/sptrembl", DBRefSource.UNIPROT);
+    canonicalSourceNameLookup.put("uniprot/swissprot", DBRefSource.UNIPROT);
+
     canonicalSourceNameLookup.put("pdb", DBRefSource.PDB);
+    canonicalSourceNameLookup.put("ensembl", DBRefSource.ENSEMBL);
+    // Ensembl Gn and Tr are for Ensembl genomic and transcript IDs as served
+    // from ENA.
+    canonicalSourceNameLookup.put("ensembl-tr", DBRefSource.ENSEMBL);
+    canonicalSourceNameLookup.put("ensembl-gn", DBRefSource.ENSEMBL);
+
+    // Make sure we have lowercase entries for all canonical string lookups
+    Set<String> keys = canonicalSourceNameLookup.keySet();
+    for (String k : keys)
+    {
+      canonicalSourceNameLookup.put(k.toLowerCase(),
+              canonicalSourceNameLookup.get(k));
+    }
 
     dasCoordinateSystemsLookup.put("pdbresnum", DBRefSource.PDB);
     dasCoordinateSystemsLookup.put("uniprot", DBRefSource.UNIPROT);
@@ -55,39 +80,36 @@ public class DBRefUtils
   }
 
   /**
-   * Utilities for handling DBRef objects and their collections.
-   */
-  /**
+   * Returns those DBRefEntry objects whose source identifier (once converted to
+   * Jalview's canonical form) is in the list of sources to search for. Returns
+   * null if no matches found.
    * 
    * @param dbrefs
-   *          Vector of DBRef objects to search
+   *          DBRefEntry objects to search
    * @param sources
-   *          String[] array of source DBRef IDs to retrieve
-   * @return Vector
+   *          array of sources to select
+   * @return
    */
   public static DBRefEntry[] selectRefs(DBRefEntry[] dbrefs,
           String[] sources)
   {
-    if (dbrefs == null)
-    {
-      return null;
-    }
-    if (sources == null)
+    if (dbrefs == null || sources == null)
     {
       return dbrefs;
     }
-    Map<String, Integer> srcs = new HashMap<String, Integer>();
-    ArrayList<DBRefEntry> res = new ArrayList<DBRefEntry>();
-
-    for (int i = 0; i < sources.length; i++)
+    HashSet<String> srcs = new HashSet<String>();
+    for (String src : sources)
     {
-      srcs.put(new String(sources[i]), new Integer(i));
+      srcs.add(src);
     }
-    for (int i = 0, j = dbrefs.length; i < j; i++)
+
+    List<DBRefEntry> res = new ArrayList<DBRefEntry>();
+    for (DBRefEntry dbr : dbrefs)
     {
-      if (srcs.containsKey(dbrefs[i].getSource()))
+      String source = getCanonicalName(dbr.getSource());
+      if (srcs.contains(source))
       {
-        res.add(dbrefs[i]);
+        res.add(dbr);
       }
     }
 
@@ -96,8 +118,6 @@ public class DBRefUtils
       DBRefEntry[] reply = new DBRefEntry[res.size()];
       return res.toArray(reply);
     }
-    res = null;
-    // there are probable memory leaks in the hashtable!
     return null;
   }
 
@@ -144,8 +164,8 @@ public class DBRefUtils
   }
 
   /**
-   * Returns an array of those references that match the given entry, or null if
-   * no matches. Currently uses a comparator which matches if
+   * Returns a (possibly empty) list of those references that match the given
+   * entry. Currently uses a comparator which matches if
    * <ul>
    * <li>database sources are the same</li>
    * <li>accession ids are the same</li>
@@ -158,15 +178,35 @@ public class DBRefUtils
    *          pattern to match
    * @return
    */
-  public static DBRefEntry[] searchRefs(DBRefEntry[] ref, DBRefEntry entry)
+  public static List<DBRefEntry> searchRefs(DBRefEntry[] ref,
+          DBRefEntry entry)
   {
     return searchRefs(ref, entry,
             matchDbAndIdAndEitherMapOrEquivalentMapList);
   }
 
   /**
-   * Returns an array of those references that match the given entry, according
-   * to the given comparator. Returns null if no matches.
+   * Returns a list of those references that match the given accession id
+   * <ul>
+   * <li>database sources are the same</li>
+   * <li>accession ids are the same</li>
+   * <li>both have no mapping, or the mappings are the same</li>
+   * </ul>
+   * 
+   * @param refs
+   *          Set of references to search
+   * @param accId
+   *          accession id to match
+   * @return
+   */
+  public static List<DBRefEntry> searchRefs(DBRefEntry[] refs, String accId)
+  {
+    return searchRefs(refs, new DBRefEntry("", "", accId), matchId);
+  }
+
+  /**
+   * Returns a (possibly empty) list of those references that match the given
+   * entry, according to the given comparator.
    * 
    * @param refs
    *          an array of database references to search
@@ -175,14 +215,14 @@ public class DBRefUtils
    * @param comparator
    * @return
    */
-  static DBRefEntry[] searchRefs(DBRefEntry[] refs, DBRefEntry entry,
+  static List<DBRefEntry> searchRefs(DBRefEntry[] refs, DBRefEntry entry,
           DbRefComp comparator)
   {
+    List<DBRefEntry> rfs = new ArrayList<DBRefEntry>();
     if (refs == null || entry == null)
     {
-      return null;
+      return rfs;
     }
-    List<DBRefEntry> rfs = new ArrayList<DBRefEntry>();
     for (int i = 0; i < refs.length; i++)
     {
       if (comparator.matches(entry, refs[i]))
@@ -190,7 +230,7 @@ public class DBRefUtils
         rfs.add(refs[i]);
       }
     }
-    return rfs.size() == 0 ? null : rfs.toArray(new DBRefEntry[rfs.size()]);
+    return rfs;
   }
 
   interface DbRefComp
@@ -201,12 +241,15 @@ public class DBRefUtils
   /**
    * match on all non-null fields in refa
    */
+  // TODO unused - remove?
   public static DbRefComp matchNonNullonA = new DbRefComp()
   {
+    @Override
     public boolean matches(DBRefEntry refa, DBRefEntry refb)
     {
       if (refa.getSource() == null
-              || refb.getSource().equals(refa.getSource()))
+              || DBRefUtils.getCanonicalName(refb.getSource()).equals(
+                      DBRefUtils.getCanonicalName(refa.getSource())))
       {
         if (refa.getVersion() == null
                 || refb.getVersion().equals(refa.getVersion()))
@@ -231,27 +274,18 @@ public class DBRefUtils
    * either field is null or field matches for all of source, version, accession
    * id and map.
    */
+  // TODO unused - remove?
   public static DbRefComp matchEitherNonNull = new DbRefComp()
   {
+    @Override
     public boolean matches(DBRefEntry refa, DBRefEntry refb)
     {
-      if ((refa.getSource() == null || refb.getSource() == null)
-              || refb.getSource().equals(refa.getSource()))
+      if (nullOrEqualSource(refa.getSource(), refb.getSource())
+              && nullOrEqual(refa.getVersion(), refb.getVersion())
+              && nullOrEqual(refa.getAccessionId(), refb.getAccessionId())
+              && nullOrEqual(refa.getMap(), refb.getMap()))
       {
-        if ((refa.getVersion() == null || refb.getVersion() == null)
-                || refb.getVersion().equals(refa.getVersion()))
-        {
-          if ((refa.getAccessionId() == null || refb.getAccessionId() == null)
-                  || refb.getAccessionId().equals(refa.getAccessionId()))
-          {
-            if ((refa.getMap() == null || refb.getMap() == null)
-                    || (refb.getMap() != null && refb.getMap().equals(
-                            refa.getMap())))
-            {
-              return true;
-            }
-          }
-        }
+        return true;
       }
       return false;
     }
@@ -261,18 +295,20 @@ public class DBRefUtils
    * accession ID and DB must be identical. Version is ignored. Map is either
    * not defined or is a match (or is compatible?)
    */
+  // TODO unused - remove?
   public static DbRefComp matchDbAndIdAndEitherMap = new DbRefComp()
   {
+    @Override
     public boolean matches(DBRefEntry refa, DBRefEntry refb)
     {
-      if (refa.getSource() != null && refb.getSource() != null
-              && refb.getSource().equals(refa.getSource()))
+      if (refa.getSource() != null
+              && refb.getSource() != null
+              && DBRefUtils.getCanonicalName(refb.getSource()).equals(
+                      DBRefUtils.getCanonicalName(refa.getSource())))
       {
         // We dont care about version
-        // if ((refa.getVersion()==null || refb.getVersion()==null)
-        // || refb.getVersion().equals(refa.getVersion()))
-        // {
         if (refa.getAccessionId() != null && refb.getAccessionId() != null
+        // FIXME should be && not || here?
                 || refb.getAccessionId().equals(refa.getAccessionId()))
         {
           if ((refa.getMap() == null || refb.getMap() == null)
@@ -292,17 +328,18 @@ public class DBRefUtils
    * or map but no maplist on either or maplist of map on a is the complement of
    * maplist of map on b.
    */
+  // TODO unused - remove?
   public static DbRefComp matchDbAndIdAndComplementaryMapList = new DbRefComp()
   {
+    @Override
     public boolean matches(DBRefEntry refa, DBRefEntry refb)
     {
-      if (refa.getSource() != null && refb.getSource() != null
-              && refb.getSource().equals(refa.getSource()))
+      if (refa.getSource() != null
+              && refb.getSource() != null
+              && DBRefUtils.getCanonicalName(refb.getSource()).equals(
+                      DBRefUtils.getCanonicalName(refa.getSource())))
       {
         // We dont care about version
-        // if ((refa.getVersion()==null || refb.getVersion()==null)
-        // || refb.getVersion().equals(refa.getVersion()))
-        // {
         if (refa.getAccessionId() != null && refb.getAccessionId() != null
                 || refb.getAccessionId().equals(refa.getAccessionId()))
         {
@@ -329,12 +366,16 @@ public class DBRefUtils
    * or or map but no maplist on either or maplist of map on a is equivalent to
    * the maplist of map on b.
    */
+  // TODO unused - remove?
   public static DbRefComp matchDbAndIdAndEquivalentMapList = new DbRefComp()
   {
+    @Override
     public boolean matches(DBRefEntry refa, DBRefEntry refb)
     {
-      if (refa.getSource() != null && refb.getSource() != null
-              && refb.getSource().equals(refa.getSource()))
+      if (refa.getSource() != null
+              && refb.getSource() != null
+              && DBRefUtils.getCanonicalName(refb.getSource()).equals(
+                      DBRefUtils.getCanonicalName(refa.getSource())))
       {
         // We dont care about version
         // if ((refa.getVersion()==null || refb.getVersion()==null)
@@ -363,25 +404,24 @@ public class DBRefUtils
   };
 
   /**
-   * accession ID and DB must be identical. Version is ignored. No map on either
-   * or map but no maplist on either or maplist of map on a is equivalent to the
-   * maplist of map on b.
+   * accession ID and DB must be identical, or null on a. Version is ignored. No
+   * map on either or map but no maplist on either or maplist of map on a is
+   * equivalent to the maplist of map on b.
    */
   public static DbRefComp matchDbAndIdAndEitherMapOrEquivalentMapList = new DbRefComp()
   {
+    @Override
     public boolean matches(DBRefEntry refa, DBRefEntry refb)
     {
-      // System.err.println("Comparing A: "+refa.getSrcAccString()+(refa.hasMap()?" has map.":"."));
-      // System.err.println("Comparing B: "+refb.getSrcAccString()+(refb.hasMap()?" has map.":"."));
-      if (refa.getSource() != null && refb.getSource() != null
-              && refb.getSource().equals(refa.getSource()))
+      if (refa.getSource() != null
+              && refb.getSource() != null
+              && DBRefUtils.getCanonicalName(refb.getSource()).equals(
+                      DBRefUtils.getCanonicalName(refa.getSource())))
       {
         // We dont care about version
-        // if ((refa.getVersion()==null || refb.getVersion()==null)
-        // || refb.getVersion().equals(refa.getVersion()))
-        // {
-        if (refa.getAccessionId() != null && refb.getAccessionId() != null
-                && refb.getAccessionId().equals(refa.getAccessionId()))
+
+        if (refa.getAccessionId() == null
+                || refa.getAccessionId().equals(refb.getAccessionId()))
         {
           if (refa.getMap() == null || refb.getMap() == null)
           {
@@ -393,7 +433,7 @@ public class DBRefUtils
                   || (refb.getMap().getMap() != null
                           && refa.getMap().getMap() != null && (refb
                           .getMap().getMap().equals(refa.getMap().getMap()))))
-          { // getMap().getMap().containsEither(false,refa.getMap().getMap())
+          {
             return true;
           }
         }
@@ -403,6 +443,23 @@ public class DBRefUtils
   };
 
   /**
+   * accession ID only must be identical.
+   */
+  public static DbRefComp matchId = new DbRefComp()
+  {
+    @Override
+    public boolean matches(DBRefEntry refa, DBRefEntry refb)
+    {
+      if (refa.getAccessionId() != null && refb.getAccessionId() != null
+              && refb.getAccessionId().equals(refa.getAccessionId()))
+      {
+        return true;
+      }
+      return false;
+    }
+  };
+
+  /**
    * Parses a DBRefEntry and adds it to the sequence, also a PDBEntry if the
    * database is PDB.
    * <p>
@@ -450,9 +507,7 @@ public class DBRefUtils
           PDBEntry pdbr = new PDBEntry();
           pdbr.setId(pdbid);
           pdbr.setType(PDBEntry.Type.PDB);
-          pdbr.setProperty(new Hashtable());
           pdbr.setChainCode(chaincode);
-          // pdbr.getProperty().put("CHAIN", chaincode);
           seq.addPDBId(pdbr);
         }
         else
@@ -474,34 +529,207 @@ public class DBRefUtils
   }
 
   /**
-   * Extract valid accession strings from a query string. Used by the
-   * SequenceFetcher and DBRefFetcher to create valid accession strings from an
-   * ID string for database sources with a Regex validation field.
+   * Returns true if either object is null, or they are equal
+   * 
+   * @param o1
+   * @param o2
+   * @return
+   */
+  public static boolean nullOrEqual(Object o1, Object o2)
+  {
+    if (o1 == null || o2 == null)
+    {
+      return true;
+    }
+    return o1.equals(o2);
+  }
+
+  /**
+   * canonicalise source string before comparing. null is always wildcard
+   * 
+   * @param o1
+   *          - null or source string to compare
+   * @param o2
+   *          - null or source string to compare
+   * @return true if either o1 or o2 are null, or o1 equals o2 under
+   *         DBRefUtils.getCanonicalName
+   *         (o1).equals(DBRefUtils.getCanonicalName(o2))
+   */
+  public static boolean nullOrEqualSource(String o1, String o2)
+  {
+    if (o1 == null || o2 == null)
+    {
+      return true;
+    }
+    return DBRefUtils.getCanonicalName(o1).equals(
+            DBRefUtils.getCanonicalName(o2));
+  }
+
+  /**
+   * Selects just the DNA or protein references from a set of references
    * 
-   * @param proxy
-   * @param q
-   * @return q if proxy.getAccessionValidator()==null, otherwise the matched
-   *         region or the first subgroup match from the matched region
+   * @param selectDna
+   *          if true, select references to 'standard' DNA databases, else to
+   *          'standard' peptide databases
+   * @param refs
+   *          a set of references to select from
+   * @return
    */
-  public static String processQueryToAccessionFor(DbSourceProxy proxy,
-          String q)
+  public static DBRefEntry[] selectDbRefs(boolean selectDna,
+          DBRefEntry[] refs)
   {
-    if (proxy.getAccessionValidator() != null)
+    return selectRefs(refs, selectDna ? DBRefSource.DNACODINGDBS
+            : DBRefSource.PROTEINDBS);
+    // could attempt to find other cross
+    // refs here - ie PDB xrefs
+    // (not dna, not protein seq)
+  }
+
+  /**
+   * Returns the (possibly empty) list of those supplied dbrefs which have the
+   * specified source database, with a case-insensitive match of source name
+   * 
+   * @param dbRefs
+   * @param source
+   * @return
+   */
+  public static List<DBRefEntry> searchRefsForSource(DBRefEntry[] dbRefs,
+          String source)
+  {
+    List<DBRefEntry> matches = new ArrayList<DBRefEntry>();
+    if (dbRefs != null && source != null)
     {
-      Regex vgr = proxy.getAccessionValidator();
-      vgr.search(q);
-      if (vgr.numSubs() > 0)
+      for (DBRefEntry dbref : dbRefs)
       {
-        return (vgr.stringMatched(1));
+        if (source.equalsIgnoreCase(dbref.getSource()))
+        {
+          matches.add(dbref);
+        }
       }
-      else
+    }
+    return matches;
+  }
+
+  /**
+   * promote direct database references to primary for nucleotide or protein
+   * sequences if they have an appropriate primary ref
+   * <table>
+   * <tr>
+   * <th>Seq Type</th>
+   * <th>Primary DB</th>
+   * <th>Direct which will be promoted</th>
+   * </tr>
+   * <tr align=center>
+   * <td>peptides</td>
+   * <td>Ensembl</td>
+   * <td>Uniprot</td>
+   * </tr>
+   * <tr align=center>
+   * <td>peptides</td>
+   * <td>Ensembl</td>
+   * <td>Uniprot</td>
+   * </tr>
+   * <tr align=center>
+   * <td>dna</td>
+   * <td>Ensembl</td>
+   * <td>ENA</td>
+   * </tr>
+   * </table>
+   * 
+   * @param sequence
+   */
+  public static void ensurePrimaries(SequenceI sequence)
+  {
+    List<DBRefEntry> pr = sequence.getPrimaryDBRefs();
+    if (pr.size() == 0)
+    {
+      // nothing to do
+      return;
+    }
+    List<DBRefEntry> selfs = new ArrayList<DBRefEntry>();
+    {
+      DBRefEntry[] selfArray = selectDbRefs(!sequence.isProtein(),
+              sequence.getDBRefs());
+      if (selfArray == null || selfArray.length == 0)
       {
-        return (vgr.stringMatched());
+        // nothing to do
+        return;
       }
+      selfs.addAll(Arrays.asList(selfArray));
     }
-    else
+
+    // filter non-primary refs
+    for (DBRefEntry p : pr)
     {
-      return (q);
+      while (selfs.contains(p))
+      {
+        selfs.remove(p);
+      }
+    }
+    List<DBRefEntry> toPromote = new ArrayList<DBRefEntry>();
+
+    for (DBRefEntry p : pr)
+    {
+      List<String> promType = new ArrayList<String>();
+      if (sequence.isProtein())
+      {
+        switch (getCanonicalName(p.getSource()))
+        {
+        case DBRefSource.UNIPROT:
+          // case DBRefSource.UNIPROTKB:
+          // case DBRefSource.UP_NAME:
+          // search for and promote ensembl
+          promType.add(DBRefSource.ENSEMBL);
+          break;
+        case DBRefSource.ENSEMBL:
+          // search for and promote Uniprot
+          promType.add(DBRefSource.UNIPROT);
+          break;
+        }
+      }
+      else
+      {
+        // TODO: promote transcript refs
+      }
+
+      // collate candidates and promote them
+      DBRefEntry[] candidates = selectRefs(
+              selfs.toArray(new DBRefEntry[0]),
+              promType.toArray(new String[0]));
+      if (candidates != null)
+      {
+        for (DBRefEntry cand : candidates)
+        {
+          if (cand.hasMap())
+          {
+            if (cand.getMap().getTo() != null
+                    && cand.getMap().getTo() != sequence)
+            {
+              // can't promote refs with mappings to other sequences
+              continue;
+            }
+            if (cand.getMap().getMap().getFromLowest() != sequence
+                    .getStart()
+                    && cand.getMap().getMap().getFromHighest() != sequence
+                            .getEnd())
+            {
+              // can't promote refs with mappings from a region of this sequence
+              // - eg CDS
+              continue;
+            }
+          }
+          // and promote
+          cand.setVersion(p.getVersion() + " (promoted)");
+          selfs.remove(cand);
+          toPromote.add(cand);
+          if (!cand.isPrimaryCandidate())
+          {
+            System.out.println("Warning: Couldn't promote dbref "
+                    + cand.toString() + " for sequence "
+                    + sequence.toString());
+          }
+        }
+      }
     }
   }