JAL-629 improvements to argparser toString. Improvements to cli paeFile structure...
[jalview.git] / src / jalview / ws / dbsources / EBIAlfaFold.java
index 5575cb8..5165d04 100644 (file)
@@ -27,9 +27,13 @@ import java.io.FileNotFoundException;
 import java.io.IOException;
 import java.io.InputStream;
 import java.util.ArrayList;
+import java.util.Date;
+import java.util.HashMap;
 import java.util.List;
 import java.util.Map;
 
+import org.json.simple.JSONArray;
+import org.json.simple.JSONObject;
 import org.json.simple.parser.ParseException;
 
 import com.stevesoft.pat.Regex;
@@ -43,11 +47,15 @@ import jalview.datamodel.DBRefEntry;
 import jalview.datamodel.PDBEntry;
 import jalview.datamodel.SequenceFeature;
 import jalview.datamodel.SequenceI;
+import jalview.gui.Desktop;
 import jalview.io.DataSourceType;
 import jalview.io.FileFormat;
 import jalview.io.FileFormatI;
 import jalview.io.FormatAdapter;
 import jalview.io.PDBFeatureSettings;
+import jalview.structure.StructureImportSettings.TFType;
+import jalview.structure.StructureMapping;
+import jalview.structure.StructureSelectionManager;
 import jalview.util.MessageManager;
 import jalview.util.Platform;
 import jalview.ws.datamodel.alphafold.PAEContactMatrix;
@@ -191,6 +199,7 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
       {
         return null;
       }
+      // TODO Get the PAE file somewhere around here and remove from JmolParser
 
       pdbAlignment = importDownloadedStructureFromUrl(alphaFoldCif, tmpFile,
               id, chain, getDbSource(), getDbVersion());
@@ -213,8 +222,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   }
 
   /**
-   * get an alphafold pAE for the given id, and add it to sequence 0 in
-   * pdbAlignment (assuming it came from structurefile parser).
+   * get an alphafold pAE for the given id and return the File object of the
+   * downloaded (temp) file
    * 
    * @param id
    * @param pdbAlignment
@@ -224,8 +233,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
    * @throws IOException
    * @throws Exception
    */
-  public static void retrieve_AlphaFold_pAE(String id,
-          AlignmentI pdbAlignment, String retrievalUrl) throws IOException
+  public static File fetchAlphaFoldPAE(String id, String retrievalUrl)
+          throws IOException
   {
     // import PAE as contact matrix - assume this will work if there was a
     // model
@@ -238,7 +247,16 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
               .replace(".cif", ".json");
     }
 
-    File pae = null;
+    // check the cache
+    File pae = paeDownloadCache.get(paeURL);
+    if (pae != null && pae.exists() && (new Date().getTime()
+            - pae.lastModified()) < PAE_CACHE_STALE_TIME)
+    {
+      Console.debug(
+              "Using existing file in PAE cache for '" + paeURL + "'");
+      return pae;
+    }
+
     try
     {
       pae = File.createTempFile(id == null ? "af_pae" : id, "pae_json");
@@ -248,42 +266,127 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     }
     Console.debug("Downloading pae from " + paeURL + " to " + pae.toString()
             + "");
-    UrlDownloadClient.download(paeURL, pae);
-    addAlphaFoldPAE(pdbAlignment, pae, 0, null);
+    try
+    {
+      UrlDownloadClient.download(paeURL, pae);
+    } catch (IOException e)
+    {
+      throw e;
+    }
+    // cache and it if successful
+    paeDownloadCache.put(paeURL, pae);
+    return pae;
+  }
+
+  /**
+   * get an alphafold pAE for the given id, and add it to sequence 0 in
+   * pdbAlignment (assuming it came from structurefile parser).
+   * 
+   * @param id
+   * @param pdbAlignment
+   * @param retrievalUrl
+   *          - URL of .mmcif from EBI-AlphaFold - will be used to generate the
+   *          pAE URL automatically
+   * @throws IOException
+   * @throws Exception
+   */
+  public static void retrieve_AlphaFold_pAE(String id,
+          AlignmentI pdbAlignment, String retrievalUrl) throws IOException
+  {
+    File pae = fetchAlphaFoldPAE(id, retrievalUrl);
+    addAlphaFoldPAE(pdbAlignment, pae, 0, null, false, false, null);
   }
 
   public static void addAlphaFoldPAE(AlignmentI pdbAlignment, File pae,
-          int index, String seqId)
+          int index, String id, boolean isStruct, boolean isStructId,
+          String label)
   {
-    FileInputStream pae_input = null;
+    FileInputStream paeInput = null;
     try
     {
-      pae_input = new FileInputStream(pae);
+      paeInput = new FileInputStream(pae);
     } catch (FileNotFoundException e)
     {
       Console.error(
               "Could not find pAE file '" + pae.getAbsolutePath() + "'", e);
+      return;
     }
 
-    try
+    if (isStruct)
     {
-      if (!importPaeJSONAsContactMatrix(pdbAlignment, pae_input, index,
-              seqId))
+      StructureSelectionManager ssm = StructureSelectionManager
+              .getStructureSelectionManager(Desktop.instance);
+      if (ssm != null)
       {
-        Console.warn("Could not import contact matrix from '"
-                + pae.getAbsolutePath() + "'");
+        String structFilename = isStructId ? ssm.findFileForPDBId(id) : id;
+        addPAEToStructure(ssm, structFilename, pae, label);
       }
-    } catch (IOException e1)
+
+    }
+    else
+    {
+      // attach to sequence?!
+      try
+      {
+        if (!importPaeJSONAsContactMatrixToSequence(pdbAlignment, paeInput,
+                index, id, label))
+        {
+          Console.warn("Could not import contact matrix from '"
+                  + pae.getAbsolutePath() + "' to sequence.");
+        }
+      } catch (IOException e1)
+      {
+        Console.error("Error when importing pAE file '"
+                + pae.getAbsolutePath() + "'", e1);
+      } catch (ParseException e2)
+      {
+        Console.error("Error when parsing pAE file '"
+                + pae.getAbsolutePath() + "'", e2);
+      }
+    }
+
+  }
+
+  public static void addPAEToStructure(StructureSelectionManager ssm,
+          String structFilename, File pae, String label)
+  {
+    FileInputStream paeInput = null;
+    try
     {
-      Console.error("Error when importing pAE file '"
-              + pae.getAbsolutePath() + "'", e1);
-    } catch (ParseException e2)
+      paeInput = new FileInputStream(pae);
+    } catch (FileNotFoundException e)
     {
       Console.error(
-              "Error when parsing pAE file '" + pae.getAbsolutePath() + "'",
-              e2);
+              "Could not find pAE file '" + pae.getAbsolutePath() + "'", e);
+      return;
+    }
+    if (ssm == null)
+    {
+      ssm = StructureSelectionManager
+              .getStructureSelectionManager(Desktop.instance);
     }
+    if (ssm != null)
+    {
+      StructureMapping[] smArray = ssm.getMapping(structFilename);
 
+      try
+      {
+        if (!importPaeJSONAsContactMatrixToStructure(smArray, paeInput,
+                label))
+        {
+          Console.warn("Could not import contact matrix from '"
+                  + pae.getAbsolutePath() + "' to structure.");
+        }
+      } catch (IOException e1)
+      {
+        Console.error("Error when importing pAE file '"
+                + pae.getAbsolutePath() + "'", e1);
+      } catch (ParseException e2)
+      {
+        Console.error("Error when parsing pAE file '"
+                + pae.getAbsolutePath() + "'", e2);
+      }
+    }
   }
 
   /**
@@ -297,49 +400,18 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
    * @throws IOException
    * @throws Exception
    */
-  public static boolean importPaeJSONAsContactMatrix(
-          AlignmentI pdbAlignment, InputStream pae_input)
-          throws IOException, ParseException
-  {
-    return importPaeJSONAsContactMatrix(pdbAlignment, pae_input, 0, null);
-  }
-
-  public static boolean importPaeJSONAsContactMatrix(
+  public static boolean importPaeJSONAsContactMatrixToSequence(
           AlignmentI pdbAlignment, InputStream pae_input, int index,
-          String seqId) throws IOException, ParseException
+          String seqId, String label) throws IOException, ParseException
   {
-
-    List<Object> pae_obj = (List<Object>) Platform.parseJSON(pae_input);
-    if (pae_obj == null)
-    {
-      Console.debug("JSON file did not parse properly.");
-      return false;
-    }
     SequenceI sequence = null;
-    /* debugging */
-    SequenceI[] seqs = pdbAlignment.getSequencesArray();
-    if (seqs == null)
-      Console.debug("******* sequences is null");
-    else
-    {
-      for (int i = 0; i < seqs.length; i++)
-      {
-        SequenceI s = seqs[i];
-        Console.debug("******* sequences[" + i + "]='" + s.getName() + "'");
-      }
-    }
-    /* end debug */
     if (seqId == null)
     {
       int seqToGet = index > 0 ? index : 0;
       sequence = pdbAlignment.getSequenceAt(seqToGet);
-      Console.debug("***** Got sequence at index " + seqToGet + ": "
-              + (sequence == null ? null : sequence.getName()));
     }
-    else
+    if (sequence == null)
     {
-      Console.debug("***** Looking for sequence with id '" + seqId + "'");
-
       SequenceI[] sequences = pdbAlignment.findSequenceMatch(seqId);
       if (sequences == null || sequences.length < 1)
       {
@@ -352,11 +424,91 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
         sequence = sequences[0]; // just use the first sequence with this seqId
       }
     }
+    if (sequence == null)
+    {
+      return false;
+    }
+    return importPaeJSONAsContactMatrixToSequence(pdbAlignment, pae_input,
+            sequence, label);
+  }
+
+  public static boolean importPaeJSONAsContactMatrixToSequence(
+          AlignmentI pdbAlignment, InputStream pae_input,
+          SequenceI sequence, String label)
+          throws IOException, ParseException
+  {
+    JSONObject paeDict = parseJSONtoPAEContactMatrix(pae_input);
+    if (paeDict == null)
+    {
+      Console.debug("JSON file did not parse properly.");
+      return false;
+    }
     ContactMatrixI matrix = new PAEContactMatrix(sequence,
-            (Map<String, Object>) pae_obj.get(0));
+            (Map<String, Object>) paeDict);
 
     AlignmentAnnotation cmannot = sequence.addContactList(matrix);
+    if (label != null)
+      cmannot.label = label;
     pdbAlignment.addAnnotation(cmannot);
+
+    return true;
+  }
+
+  public static JSONObject parseJSONtoPAEContactMatrix(
+          InputStream pae_input) throws IOException, ParseException
+  {
+    Object paeJson = Platform.parseJSON(pae_input);
+    JSONObject paeDict = null;
+    if (paeJson instanceof JSONObject)
+    {
+      paeDict = (JSONObject) paeJson;
+    }
+    else if (paeJson instanceof JSONArray)
+    {
+      JSONArray jsonArray = (JSONArray) paeJson;
+      if (jsonArray.size() > 0)
+        paeDict = (JSONObject) jsonArray.get(0);
+    }
+
+    return paeDict;
+  }
+
+  public static boolean importPaeJSONAsContactMatrixToStructure(
+          StructureMapping[] smArray, InputStream paeInput, String label)
+          throws IOException, ParseException
+  {
+    boolean someDone = false;
+    for (StructureMapping sm : smArray)
+    {
+      boolean thisDone = importPaeJSONAsContactMatrixToStructure(sm,
+              paeInput, label);
+      someDone |= thisDone;
+    }
+    return someDone;
+  }
+
+  public static boolean importPaeJSONAsContactMatrixToStructure(
+          StructureMapping sm, InputStream paeInput, String label)
+          throws IOException, ParseException
+  {
+    JSONObject pae_obj = parseJSONtoPAEContactMatrix(paeInput);
+    if (pae_obj == null)
+    {
+      Console.debug("JSON file did not parse properly.");
+      return false;
+    }
+
+    ContactMatrixI matrix = new PAEContactMatrix(sm.getSequence(),
+            (Map<String, Object>) pae_obj);
+
+    AlignmentAnnotation cmannot = sm.getSequence().addContactList(matrix);
+    if (label != null)
+    {
+      Console.debug("Setting annotation label to '" + label + "'");
+      cmannot.label = label;
+    }
+    sm.getSequence().addAlignmentAnnotation(cmannot);
+
     return true;
   }
 
@@ -380,8 +532,10 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     String file = tmpFile.getAbsolutePath();
     // todo get rid of Type and use FileFormatI instead?
     FileFormatI fileFormat = FileFormat.MMCif;
-    AlignmentI pdbAlignment = new FormatAdapter().readFile(tmpFile,
-            DataSourceType.FILE, fileFormat);
+    TFType tempfacType = TFType.PLDDT;
+    AlignmentI pdbAlignment = new FormatAdapter().readFile(tmpFile, file,
+            DataSourceType.FILE, fileFormat, tempfacType);
+
     if (pdbAlignment != null)
     {
       List<SequenceI> toremove = new ArrayList<SequenceI>();
@@ -394,7 +548,6 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
           if (pid.getFile() == file)
           {
             chid = pid.getChainCode();
-
           }
         }
         if (chain == null || (chid != null && (chid.equals(chain)
@@ -517,4 +670,9 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     return new PDBFeatureSettings();
   }
 
+  // days * 86400000
+  private static final long PAE_CACHE_STALE_TIME = 1 * 86400000;
+
+  private static Map<String, File> paeDownloadCache = new HashMap<>();
+
 }