Merge branch 'features/r2_11_2_alphafold/JAL-2349_JAL-3855' into develop
[jalview.git] / src / jalview / ws / dbsources / EBIAlfaFold.java
index b77fc47..7c72f4b 100644 (file)
 package jalview.ws.dbsources;
 
 import jalview.api.FeatureSettingsModelI;
+import jalview.bin.Cache;
+import jalview.bin.Console;
 import jalview.datamodel.AlignmentAnnotation;
 import jalview.datamodel.AlignmentI;
+import jalview.datamodel.ContactMatrix;
+import jalview.datamodel.ContactMatrixI;
 import jalview.datamodel.DBRefEntry;
 import jalview.datamodel.DBRefSource;
 import jalview.datamodel.PDBEntry;
@@ -36,15 +40,23 @@ import jalview.io.FileFormat;
 import jalview.io.FileFormatI;
 import jalview.io.FormatAdapter;
 import jalview.io.PDBFeatureSettings;
+import jalview.javascript.json.JSON;
 import jalview.structure.StructureImportSettings;
 import jalview.util.HttpUtils;
 import jalview.util.MessageManager;
+import jalview.util.Platform;
+import jalview.ws.datamodel.alphafold.PAEContactMatrix;
 import jalview.ws.ebi.EBIFetchClient;
 import jalview.ws.utils.UrlDownloadClient;
 
+import java.io.BufferedReader;
 import java.io.File;
+import java.io.FileInputStream;
 import java.util.ArrayList;
 import java.util.List;
+import java.util.Map;
+
+import org.jmol.adapter.readers.simple.JSONReader;
 
 import com.stevesoft.pat.Regex;
 
@@ -84,7 +96,7 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   @Override
   public Regex getAccessionValidator()
   {
-    Regex validator =  new Regex("(AF-[A-Z]+[0-9]+[A-Z0-9]+-F1)");
+    Regex validator = new Regex("(AF-[A-Z]+[0-9]+[A-Z0-9]+-F1)");
     validator.setIgnoreCase(true);
     return validator;
   }
@@ -116,6 +128,12 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     return "https://alphafold.ebi.ac.uk/files/" + id + "-model_v1.cif";
   }
 
+  public static String getAlphaFoldPaeDownloadUrl(String id)
+  {
+    return "https://alphafold.ebi.ac.uk/files/" + id
+            + "-predicted_aligned_error_v1.json";
+  }
+
   /*
    * (non-Javadoc)
    * 
@@ -124,6 +142,12 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   @Override
   public AlignmentI getSequenceRecords(String queries) throws Exception
   {
+    return getSequenceRecords(queries, null);
+  }
+
+  public AlignmentI getSequenceRecords(String queries, String retrievalUrl)
+          throws Exception
+  {
     AlignmentI pdbAlignment = null;
     String chain = null;
     String id = null;
@@ -140,17 +164,22 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     if (!isValidReference(id))
     {
       System.err.println(
-              "(AFClient) Ignoring invalid pdb query: '" + id + "'");
+              "(AFClient) Ignoring invalid alphafold query: '" + id + "'");
       stopQuery();
       return null;
     }
     String alphaFoldCif = getAlphaFoldCifDownloadUrl(id);
+    if (retrievalUrl != null)
+    {
+      alphaFoldCif = retrievalUrl;
+    }
 
     try
     {
       File tmpFile = File.createTempFile(id, ".cif");
+      Console.debug("Retrieving structure file for "+id+" from "+alphaFoldCif);
       UrlDownloadClient.download(alphaFoldCif, tmpFile);
-      
+
       // may not need this check ?
       file = tmpFile.getAbsolutePath();
       if (file == null)
@@ -158,8 +187,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
         return null;
       }
 
-      pdbAlignment = importDownloadedStructureFromUrl(alphaFoldCif, tmpFile, id, chain, getDbSource(),getDbVersion());
-      
+      pdbAlignment = importDownloadedStructureFromUrl(alphaFoldCif, tmpFile,
+              id, chain, getDbSource(), getDbVersion());
 
       if (pdbAlignment == null || pdbAlignment.getHeight() < 1)
       {
@@ -168,6 +197,29 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
                 { id, ((chain == null) ? "' '" : chain) }));
       }
 
+      // import PAE as contact matrix - assume this will work if there was a
+      // model
+      File pae = File.createTempFile(id, "pae_json");
+      String paeURL = getAlphaFoldPaeDownloadUrl(id);
+      
+      if (retrievalUrl!=null) {
+        // manufacture the PAE url from a url like ...-model-vN.cif
+        paeURL = retrievalUrl.replace("model","predicted_aligned_error").replace(".cif",".json");
+      }
+      Console.debug("Downloading pae from " + paeURL
+              + " to " + pae.toString() + "");
+
+      try {
+        UrlDownloadClient.download(paeURL, pae);        
+      if (!importPaeJSONAsContactMatrix(pdbAlignment, pae))
+      {
+        Console.warn("Couln't import contact matrix from " + paeURL
+                + " (stored in " + pae.toString() + ")");
+      }
+      } catch (Exception pae_ex) {
+        Console.debug("Couldn't download PAE",pae_ex);
+      }
+
     } catch (Exception ex) // Problem parsing PDB file
     {
       stopQuery();
@@ -176,8 +228,28 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     return pdbAlignment;
   }
 
+  private boolean importPaeJSONAsContactMatrix(AlignmentI pdbAlignment,
+          File pae) throws Exception
+  {
+    FileInputStream pae_input = new FileInputStream(pae);
+
+    List<Object> pae_obj = (List<Object>) Platform
+            .parseJSON(pae_input);
+    if (pae_obj == null)
+    {
+      return false;
+    }
+    ContactMatrixI matrix = new PAEContactMatrix(
+            pdbAlignment.getSequenceAt(0), (Map<String, Object>)pae_obj.get(0));
+
+    pdbAlignment.getSequenceAt(0).addAlignmentAnnotation(pdbAlignment.addContactList(matrix));
+    return true;
+  }
+
   /**
-   * general purpose structure importer - designed to yield alignment useful for transfer of annotation to associated sequences
+   * general purpose structure importer - designed to yield alignment useful for
+   * transfer of annotation to associated sequences
+   * 
    * @param alphaFoldCif
    * @param tmpFile
    * @param id
@@ -187,8 +259,9 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
    * @return
    * @throws Exception
    */
-  public static AlignmentI importDownloadedStructureFromUrl(String alphaFoldCif,
-          File tmpFile, String id, String chain, String dbSource, String dbVersion) throws Exception
+  public static AlignmentI importDownloadedStructureFromUrl(
+          String alphaFoldCif, File tmpFile, String id, String chain,
+          String dbSource, String dbVersion) throws Exception
   {
     String file = tmpFile.getAbsolutePath();
     // todo get rid of Type and use FileFormatI instead?
@@ -241,15 +314,17 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
             // dbentry.setMap()
             pdbcs.addDBRef(dbentry);
             // update any feature groups
-            List<SequenceFeature> allsf = pdbcs.getFeatures().getAllFeatures();
+            List<SequenceFeature> allsf = pdbcs.getFeatures()
+                    .getAllFeatures();
             List<SequenceFeature> newsf = new ArrayList<SequenceFeature>();
-            if (allsf!=null && allsf.size()>0)
+            if (allsf != null && allsf.size() > 0)
             {
-              for (SequenceFeature f:allsf)
+              for (SequenceFeature f : allsf)
               {
                 if (file.equals(f.getFeatureGroup()))
                 {
-                  f = new SequenceFeature(f, f.type, f.begin, f.end, id, f.score);
+                  f = new SequenceFeature(f, f.type, f.begin, f.end, id,
+                          f.score);
                 }
                 newsf.add(f);
               }
@@ -298,13 +373,13 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   @Override
   public String getTestQuery()
   {
-    return "1QIP";
+    return "AF-O15552-F1";
   }
 
   @Override
   public String getDbName()
   {
-    return "PDB"; // getDbSource();
+    return "ALPHAFOLD"; // getDbSource();
   }
 
   @Override
@@ -327,4 +402,5 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   {
     return new PDBFeatureSettings();
   }
+
 }