JAL-3855 refactor the pAE retrieval code so it can be called via structureselectionma...
[jalview.git] / src / jalview / ws / dbsources / EBIAlfaFold.java
index bbb1f8b..fa867cd 100644 (file)
  */
 package jalview.ws.dbsources;
 
+import java.io.File;
+import java.io.FileInputStream;
+import java.io.InputStream;
+import java.util.ArrayList;
+import java.util.List;
+import java.util.Map;
+
+import com.stevesoft.pat.Regex;
+
 import jalview.api.FeatureSettingsModelI;
-import jalview.bin.Cache;
 import jalview.bin.Console;
 import jalview.datamodel.AlignmentAnnotation;
 import jalview.datamodel.AlignmentI;
-import jalview.datamodel.ContactMatrix;
 import jalview.datamodel.ContactMatrixI;
 import jalview.datamodel.DBRefEntry;
-import jalview.datamodel.DBRefSource;
 import jalview.datamodel.PDBEntry;
-import jalview.datamodel.PDBEntry.Type;
 import jalview.datamodel.SequenceFeature;
 import jalview.datamodel.SequenceI;
-import jalview.datamodel.features.SequenceFeaturesI;
 import jalview.io.DataSourceType;
 import jalview.io.FileFormat;
 import jalview.io.FileFormatI;
 import jalview.io.FormatAdapter;
 import jalview.io.PDBFeatureSettings;
-import jalview.javascript.json.JSON;
-import jalview.structure.StructureImportSettings;
-import jalview.util.HttpUtils;
 import jalview.util.MessageManager;
 import jalview.util.Platform;
 import jalview.ws.datamodel.alphafold.PAEContactMatrix;
-import jalview.ws.ebi.EBIFetchClient;
 import jalview.ws.utils.UrlDownloadClient;
 
-import java.io.BufferedReader;
-import java.io.File;
-import java.io.FileInputStream;
-import java.util.ArrayList;
-import java.util.List;
-import java.util.Map;
-
-import org.jmol.adapter.readers.simple.JSONReader;
-
-import com.stevesoft.pat.Regex;
-
 /**
  * @author JimP
  * 
@@ -72,6 +61,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
 
   private static final int PDB_ID_LENGTH = 4;
 
+  private static String AF_VERSION = "2";
+
   public EBIAlfaFold()
   {
     super();
@@ -96,7 +87,7 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   @Override
   public Regex getAccessionValidator()
   {
-    Regex validator =  new Regex("(AF-[A-Z]+[0-9]+[A-Z0-9]+-F1)");
+    Regex validator = new Regex("(AF-[A-Z]+[0-9]+[A-Z0-9]+-F1)");
     validator.setIgnoreCase(true);
     return validator;
   }
@@ -123,15 +114,24 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     return "1";
   }
 
-  public static String getAlphaFoldCifDownloadUrl(String id)
+  public static String getAlphaFoldCifDownloadUrl(String id, String vnum)
   {
-    return "https://alphafold.ebi.ac.uk/files/" + id + "-model_v1.cif";
+    if (vnum == null || vnum.length() == 0)
+    {
+      vnum = AF_VERSION;
+    }
+    return "https://alphafold.ebi.ac.uk/files/" + id + "-model_v" + vnum
+            + ".cif";
   }
 
-  public static String getAlphaFoldPaeDownloadUrl(String id)
+  public static String getAlphaFoldPaeDownloadUrl(String id, String vnum)
   {
+    if (vnum == null || vnum.length() == 0)
+    {
+      vnum = AF_VERSION;
+    }
     return "https://alphafold.ebi.ac.uk/files/" + id
-            + "-predicted_aligned_error_v1.json";
+            + "-predicted_aligned_error_v" + vnum + ".json";
   }
 
   /*
@@ -144,7 +144,9 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   {
     return getSequenceRecords(queries, null);
   }
-  public AlignmentI getSequenceRecords(String queries, String retrievalUrl) throws Exception
+
+  public AlignmentI getSequenceRecords(String queries, String retrievalUrl)
+          throws Exception
   {
     AlignmentI pdbAlignment = null;
     String chain = null;
@@ -166,7 +168,7 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
       stopQuery();
       return null;
     }
-    String alphaFoldCif = getAlphaFoldCifDownloadUrl(id);
+    String alphaFoldCif = getAlphaFoldCifDownloadUrl(id, AF_VERSION);
     if (retrievalUrl != null)
     {
       alphaFoldCif = retrievalUrl;
@@ -175,9 +177,10 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     try
     {
       File tmpFile = File.createTempFile(id, ".cif");
-      Console.debug("Retrieving structure file for "+id+" from "+alphaFoldCif);
+      Console.debug("Retrieving structure file for " + id + " from "
+              + alphaFoldCif);
       UrlDownloadClient.download(alphaFoldCif, tmpFile);
-      
+
       // may not need this check ?
       file = tmpFile.getAbsolutePath();
       if (file == null)
@@ -185,8 +188,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
         return null;
       }
 
-      pdbAlignment = importDownloadedStructureFromUrl(alphaFoldCif, tmpFile, id, chain, getDbSource(),getDbVersion());
-      
+      pdbAlignment = importDownloadedStructureFromUrl(alphaFoldCif, tmpFile,
+              id, chain, getDbSource(), getDbVersion());
 
       if (pdbAlignment == null || pdbAlignment.getHeight() < 1)
       {
@@ -194,58 +197,92 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
                 "exception.no_pdb_records_for_chain", new String[]
                 { id, ((chain == null) ? "' '" : chain) }));
       }
+      retrieve_AlphaFold_pAE(id, pdbAlignment, retrievalUrl);
 
-      // import PAE as contact matrix - assume this will work if there was a
-      // model
-      File pae = File.createTempFile(id, "pae_json");
-      String paeURL = getAlphaFoldPaeDownloadUrl(id);
-      
-      if (retrievalUrl!=null) {
-        // manufacture the PAE url from a url like ...-model-vN.cif
-        paeURL = retrievalUrl.replace("model","predicted_aligned_error").replace(".cif",".json");
-      }
-      Console.debug("Downloading pae from " + paeURL
-              + " to " + pae.toString() + "");
+    } catch (Exception ex) // Problem parsing PDB file
+    {
+      stopQuery();
+      throw (ex);
+    }
+    return pdbAlignment;
+  }
 
-      try {
-        UrlDownloadClient.download(paeURL, pae);        
-      if (!importPaeJSONAsContactMatrix(pdbAlignment, pae))
+  /**
+   * get an alphafold pAE for the given id, and add it to sequence 0 in
+   * pdbAlignment (assuming it came from structurefile parser).
+   * 
+   * @param id
+   * @param pdbAlignment
+   * @param retrievalUrl
+   *          - URL of .mmcif from EBI-AlphaFold - will be used to generate the
+   *          pAE URL automatically
+   * @throws Exception
+   */
+  public static void retrieve_AlphaFold_pAE(String id,
+          AlignmentI pdbAlignment, String retrievalUrl) throws Exception
+  {
+    // import PAE as contact matrix - assume this will work if there was a
+    // model
+    File pae = File.createTempFile(id, "pae_json");
+    String paeURL = getAlphaFoldPaeDownloadUrl(id, AF_VERSION);
+
+    if (retrievalUrl != null)
+    {
+      // manufacture the PAE url from a url like ...-model-vN.cif
+      paeURL = retrievalUrl.replace("model", "predicted_aligned_error")
+              .replace(".cif", ".json");
+    }
+    Console.debug("Downloading pae from " + paeURL + " to " + pae.toString()
+            + "");
+
+    try
+    {
+      UrlDownloadClient.download(paeURL, pae);
+      FileInputStream pae_input = new FileInputStream(pae);
+
+      if (!importPaeJSONAsContactMatrix(pdbAlignment, pae_input))
       {
         Console.warn("Couln't import contact matrix from " + paeURL
                 + " (stored in " + pae.toString() + ")");
       }
-      } catch (Exception pae_ex) {
-        Console.debug("Couldn't download PAE",pae_ex);
-      }
-
-    } catch (Exception ex) // Problem parsing PDB file
+    } catch (Exception pae_ex)
     {
-      stopQuery();
-      throw (ex);
+      Console.debug("Couldn't download PAE", pae_ex);
     }
-    return pdbAlignment;
+
   }
 
-  private boolean importPaeJSONAsContactMatrix(AlignmentI pdbAlignment,
-          File pae) throws Exception
+  /**
+   * parses the given pAE matrix and adds it to sequence 0 in the given
+   * alignment
+   * 
+   * @param pdbAlignment
+   * @param pae_input
+   * @return true if there was a pAE matrix added
+   * @throws Exception
+   */
+  public static boolean importPaeJSONAsContactMatrix(
+          AlignmentI pdbAlignment, InputStream pae_input) throws Exception
   {
-    FileInputStream pae_input = new FileInputStream(pae);
 
-    List<Object> pae_obj = (List<Object>) Platform
-            .parseJSON(pae_input);
+    List<Object> pae_obj = (List<Object>) Platform.parseJSON(pae_input);
     if (pae_obj == null)
     {
       return false;
     }
     ContactMatrixI matrix = new PAEContactMatrix(
-            pdbAlignment.getSequenceAt(0), (Map<String, Object>)pae_obj.get(0));
+            pdbAlignment.getSequenceAt(0),
+            (Map<String, Object>) pae_obj.get(0));
 
-    pdbAlignment.getSequenceAt(0).addAlignmentAnnotation(pdbAlignment.addContactList(matrix));
+    pdbAlignment.getSequenceAt(0)
+            .addAlignmentAnnotation(pdbAlignment.addContactList(matrix));
     return true;
   }
 
   /**
-   * general purpose structure importer - designed to yield alignment useful for transfer of annotation to associated sequences
+   * general purpose structure importer - designed to yield alignment useful for
+   * transfer of annotation to associated sequences
+   * 
    * @param alphaFoldCif
    * @param tmpFile
    * @param id
@@ -255,8 +292,9 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
    * @return
    * @throws Exception
    */
-  public static AlignmentI importDownloadedStructureFromUrl(String alphaFoldCif,
-          File tmpFile, String id, String chain, String dbSource, String dbVersion) throws Exception
+  public static AlignmentI importDownloadedStructureFromUrl(
+          String alphaFoldCif, File tmpFile, String id, String chain,
+          String dbSource, String dbVersion) throws Exception
   {
     String file = tmpFile.getAbsolutePath();
     // todo get rid of Type and use FileFormatI instead?
@@ -309,15 +347,17 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
             // dbentry.setMap()
             pdbcs.addDBRef(dbentry);
             // update any feature groups
-            List<SequenceFeature> allsf = pdbcs.getFeatures().getAllFeatures();
+            List<SequenceFeature> allsf = pdbcs.getFeatures()
+                    .getAllFeatures();
             List<SequenceFeature> newsf = new ArrayList<SequenceFeature>();
-            if (allsf!=null && allsf.size()>0)
+            if (allsf != null && allsf.size() > 0)
             {
-              for (SequenceFeature f:allsf)
+              for (SequenceFeature f : allsf)
               {
                 if (file.equals(f.getFeatureGroup()))
                 {
-                  f = new SequenceFeature(f, f.type, f.begin, f.end, id, f.score);
+                  f = new SequenceFeature(f, f.type, f.begin, f.end, id,
+                          f.score);
                 }
                 newsf.add(f);
               }