Merge branch 'features/r2_11_2_alphafold/JAL-2349_JAL-3855' into develop
[jalview.git] / src / jalview / ws / dbsources / EBIAlfaFold.java
index 6c7818b..7c72f4b 100644 (file)
@@ -23,6 +23,7 @@ package jalview.ws.dbsources;
 
 import jalview.api.FeatureSettingsModelI;
 import jalview.bin.Cache;
+import jalview.bin.Console;
 import jalview.datamodel.AlignmentAnnotation;
 import jalview.datamodel.AlignmentI;
 import jalview.datamodel.ContactMatrix;
@@ -31,7 +32,9 @@ import jalview.datamodel.DBRefEntry;
 import jalview.datamodel.DBRefSource;
 import jalview.datamodel.PDBEntry;
 import jalview.datamodel.PDBEntry.Type;
+import jalview.datamodel.SequenceFeature;
 import jalview.datamodel.SequenceI;
+import jalview.datamodel.features.SequenceFeaturesI;
 import jalview.io.DataSourceType;
 import jalview.io.FileFormat;
 import jalview.io.FileFormatI;
@@ -93,7 +96,9 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   @Override
   public Regex getAccessionValidator()
   {
-    return new Regex("(AF-[A-Z]+[0-9]+[A-Z0-9]+-F1)");
+    Regex validator = new Regex("(AF-[A-Z]+[0-9]+[A-Z0-9]+-F1)");
+    validator.setIgnoreCase(true);
+    return validator;
   }
 
   /*
@@ -137,6 +142,12 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   @Override
   public AlignmentI getSequenceRecords(String queries) throws Exception
   {
+    return getSequenceRecords(queries, null);
+  }
+
+  public AlignmentI getSequenceRecords(String queries, String retrievalUrl)
+          throws Exception
+  {
     AlignmentI pdbAlignment = null;
     String chain = null;
     String id = null;
@@ -158,84 +169,26 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
       return null;
     }
     String alphaFoldCif = getAlphaFoldCifDownloadUrl(id);
+    if (retrievalUrl != null)
+    {
+      alphaFoldCif = retrievalUrl;
+    }
 
     try
     {
-      File tmpFile = File.createTempFile(id, "cif");
+      File tmpFile = File.createTempFile(id, ".cif");
+      Console.debug("Retrieving structure file for "+id+" from "+alphaFoldCif);
       UrlDownloadClient.download(alphaFoldCif, tmpFile);
+
+      // may not need this check ?
       file = tmpFile.getAbsolutePath();
       if (file == null)
       {
         return null;
       }
 
-      // todo get rid of Type and use FileFormatI instead?
-      FileFormatI fileFormat = FileFormat.MMCif;
-      pdbAlignment = new FormatAdapter().readFile(tmpFile,
-              DataSourceType.FILE, fileFormat);
-      if (pdbAlignment != null)
-      {
-        List<SequenceI> toremove = new ArrayList<SequenceI>();
-        for (SequenceI pdbcs : pdbAlignment.getSequences())
-        {
-          String chid = null;
-          // Mapping map=null;
-          for (PDBEntry pid : pdbcs.getAllPDBEntries())
-          {
-            if (pid.getFile() == file)
-            {
-              chid = pid.getChainCode();
-
-            }
-          }
-          if (chain == null || (chid != null && (chid.equals(chain)
-                  || chid.trim().equals(chain.trim())
-                  || (chain.trim().length() == 0 && chid.equals("_")))))
-          {
-            // FIXME seems to result in 'PDB|1QIP|1qip|A' - 1QIP is redundant.
-            // TODO: suggest simplify naming to 1qip|A as default name defined
-            pdbcs.setName(id + SEPARATOR + pdbcs.getName());
-            // Might need to add more metadata to the PDBEntry object
-            // like below
-            /*
-             * PDBEntry entry = new PDBEntry(); // Construct the PDBEntry
-             * entry.setId(id); if (entry.getProperty() == null)
-             * entry.setProperty(new Hashtable());
-             * entry.getProperty().put("chains", pdbchain.id + "=" +
-             * sq.getStart() + "-" + sq.getEnd());
-             * sq.getDatasetSequence().addPDBId(entry);
-             */
-            // Add PDB DB Refs
-            // We make a DBRefEtntry because we have obtained the PDB file from
-            // a
-            // verifiable source
-            // JBPNote - PDB DBRefEntry should also carry the chain and mapping
-            // information
-            DBRefEntry dbentry = new DBRefEntry(getDbSource(),
-                    getDbVersion(), (chid == null ? id : id + chid));
-            // dbentry.setMap()
-            pdbcs.addDBRef(dbentry);
-          }
-          else
-          {
-            // mark this sequence to be removed from the alignment
-            // - since it's not from the right chain
-            toremove.add(pdbcs);
-          }
-        }
-        // now remove marked sequences
-        for (SequenceI pdbcs : toremove)
-        {
-          pdbAlignment.deleteSequence(pdbcs);
-          if (pdbcs.getAnnotation() != null)
-          {
-            for (AlignmentAnnotation aa : pdbcs.getAnnotation())
-            {
-              pdbAlignment.deleteAnnotation(aa);
-            }
-          }
-        }
-      }
+      pdbAlignment = importDownloadedStructureFromUrl(alphaFoldCif, tmpFile,
+              id, chain, getDbSource(), getDbVersion());
 
       if (pdbAlignment == null || pdbAlignment.getHeight() < 1)
       {
@@ -248,12 +201,24 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
       // model
       File pae = File.createTempFile(id, "pae_json");
       String paeURL = getAlphaFoldPaeDownloadUrl(id);
-      UrlDownloadClient.download(paeURL, pae);
+      
+      if (retrievalUrl!=null) {
+        // manufacture the PAE url from a url like ...-model-vN.cif
+        paeURL = retrievalUrl.replace("model","predicted_aligned_error").replace(".cif",".json");
+      }
+      Console.debug("Downloading pae from " + paeURL
+              + " to " + pae.toString() + "");
+
+      try {
+        UrlDownloadClient.download(paeURL, pae);        
       if (!importPaeJSONAsContactMatrix(pdbAlignment, pae))
       {
-        Cache.log.debug("Couln't import contact matrix from " + paeURL
+        Console.warn("Couln't import contact matrix from " + paeURL
                 + " (stored in " + pae.toString() + ")");
       }
+      } catch (Exception pae_ex) {
+        Console.debug("Couldn't download PAE",pae_ex);
+      }
 
     } catch (Exception ex) // Problem parsing PDB file
     {
@@ -281,6 +246,115 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     return true;
   }
 
+  /**
+   * general purpose structure importer - designed to yield alignment useful for
+   * transfer of annotation to associated sequences
+   * 
+   * @param alphaFoldCif
+   * @param tmpFile
+   * @param id
+   * @param chain
+   * @param dbSource
+   * @param dbVersion
+   * @return
+   * @throws Exception
+   */
+  public static AlignmentI importDownloadedStructureFromUrl(
+          String alphaFoldCif, File tmpFile, String id, String chain,
+          String dbSource, String dbVersion) throws Exception
+  {
+    String file = tmpFile.getAbsolutePath();
+    // todo get rid of Type and use FileFormatI instead?
+    FileFormatI fileFormat = FileFormat.MMCif;
+    AlignmentI pdbAlignment = new FormatAdapter().readFile(tmpFile,
+            DataSourceType.FILE, fileFormat);
+    if (pdbAlignment != null)
+    {
+      List<SequenceI> toremove = new ArrayList<SequenceI>();
+      for (SequenceI pdbcs : pdbAlignment.getSequences())
+      {
+        String chid = null;
+        // Mapping map=null;
+        for (PDBEntry pid : pdbcs.getAllPDBEntries())
+        {
+          if (pid.getFile() == file)
+          {
+            chid = pid.getChainCode();
+
+          }
+        }
+        if (chain == null || (chid != null && (chid.equals(chain)
+                || chid.trim().equals(chain.trim())
+                || (chain.trim().length() == 0 && chid.equals("_")))))
+        {
+          // FIXME seems to result in 'PDB|1QIP|1qip|A' - 1QIP is redundant.
+          // TODO: suggest simplify naming to 1qip|A as default name defined
+          pdbcs.setName(id + SEPARATOR + pdbcs.getName());
+          // Might need to add more metadata to the PDBEntry object
+          // like below
+          /*
+           * PDBEntry entry = new PDBEntry(); // Construct the PDBEntry
+           * entry.setId(id); if (entry.getProperty() == null)
+           * entry.setProperty(new Hashtable());
+           * entry.getProperty().put("chains", pdbchain.id + "=" +
+           * sq.getStart() + "-" + sq.getEnd());
+           * sq.getDatasetSequence().addPDBId(entry);
+           */
+          // Add PDB DB Refs
+          // We make a DBRefEtntry because we have obtained the PDB file from
+          // a
+          // verifiable source
+          // JBPNote - PDB DBRefEntry should also carry the chain and mapping
+          // information
+          if (dbSource != null)
+          {
+            DBRefEntry dbentry = new DBRefEntry(dbSource,
+
+                    dbVersion, (chid == null ? id : id + chid));
+            // dbentry.setMap()
+            pdbcs.addDBRef(dbentry);
+            // update any feature groups
+            List<SequenceFeature> allsf = pdbcs.getFeatures()
+                    .getAllFeatures();
+            List<SequenceFeature> newsf = new ArrayList<SequenceFeature>();
+            if (allsf != null && allsf.size() > 0)
+            {
+              for (SequenceFeature f : allsf)
+              {
+                if (file.equals(f.getFeatureGroup()))
+                {
+                  f = new SequenceFeature(f, f.type, f.begin, f.end, id,
+                          f.score);
+                }
+                newsf.add(f);
+              }
+              pdbcs.setSequenceFeatures(newsf);
+            }
+          }
+        }
+        else
+        {
+          // mark this sequence to be removed from the alignment
+          // - since it's not from the right chain
+          toremove.add(pdbcs);
+        }
+      }
+      // now remove marked sequences
+      for (SequenceI pdbcs : toremove)
+      {
+        pdbAlignment.deleteSequence(pdbcs);
+        if (pdbcs.getAnnotation() != null)
+        {
+          for (AlignmentAnnotation aa : pdbcs.getAnnotation())
+          {
+            pdbAlignment.deleteAnnotation(aa);
+          }
+        }
+      }
+    }
+    return pdbAlignment;
+  }
+
   /*
    * (non-Javadoc)
    * 
@@ -328,4 +402,5 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   {
     return new PDBFeatureSettings();
   }
+
 }