JAL-629 improvements to argparser toString. Improvements to cli paeFile structure...
[jalview.git] / src / jalview / ws / dbsources / EBIAlfaFold.java
index e5f1243..5165d04 100644 (file)
@@ -27,16 +27,19 @@ import java.io.FileNotFoundException;
 import java.io.IOException;
 import java.io.InputStream;
 import java.util.ArrayList;
+import java.util.Date;
+import java.util.HashMap;
 import java.util.List;
 import java.util.Map;
 
+import org.json.simple.JSONArray;
+import org.json.simple.JSONObject;
 import org.json.simple.parser.ParseException;
 
 import com.stevesoft.pat.Regex;
 
 import jalview.api.FeatureSettingsModelI;
 import jalview.bin.Console;
-import jalview.datamodel.AlignedCodonFrame;
 import jalview.datamodel.AlignmentAnnotation;
 import jalview.datamodel.AlignmentI;
 import jalview.datamodel.ContactMatrixI;
@@ -50,6 +53,7 @@ import jalview.io.FileFormat;
 import jalview.io.FileFormatI;
 import jalview.io.FormatAdapter;
 import jalview.io.PDBFeatureSettings;
+import jalview.structure.StructureImportSettings.TFType;
 import jalview.structure.StructureMapping;
 import jalview.structure.StructureSelectionManager;
 import jalview.util.MessageManager;
@@ -195,6 +199,7 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
       {
         return null;
       }
+      // TODO Get the PAE file somewhere around here and remove from JmolParser
 
       pdbAlignment = importDownloadedStructureFromUrl(alphaFoldCif, tmpFile,
               id, chain, getDbSource(), getDbVersion());
@@ -217,8 +222,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
   }
 
   /**
-   * get an alphafold pAE for the given id, and add it to sequence 0 in
-   * pdbAlignment (assuming it came from structurefile parser).
+   * get an alphafold pAE for the given id and return the File object of the
+   * downloaded (temp) file
    * 
    * @param id
    * @param pdbAlignment
@@ -228,8 +233,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
    * @throws IOException
    * @throws Exception
    */
-  public static void retrieve_AlphaFold_pAE(String id,
-          AlignmentI pdbAlignment, String retrievalUrl) throws IOException
+  public static File fetchAlphaFoldPAE(String id, String retrievalUrl)
+          throws IOException
   {
     // import PAE as contact matrix - assume this will work if there was a
     // model
@@ -242,7 +247,16 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
               .replace(".cif", ".json");
     }
 
-    File pae = null;
+    // check the cache
+    File pae = paeDownloadCache.get(paeURL);
+    if (pae != null && pae.exists() && (new Date().getTime()
+            - pae.lastModified()) < PAE_CACHE_STALE_TIME)
+    {
+      Console.debug(
+              "Using existing file in PAE cache for '" + paeURL + "'");
+      return pae;
+    }
+
     try
     {
       pae = File.createTempFile(id == null ? "af_pae" : id, "pae_json");
@@ -252,25 +266,40 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     }
     Console.debug("Downloading pae from " + paeURL + " to " + pae.toString()
             + "");
-    UrlDownloadClient.download(paeURL, pae);
-    addAlphaFoldPAEToSequence(pdbAlignment, pae, 0, null);
-  }
-
-  public static void addAlphaFoldPAEToSequence(AlignmentI pdbAlignment,
-          File pae, int index, String seqId)
-  {
-    addAlphaFoldPAE(pdbAlignment, pae, index, seqId, false, false);
+    try
+    {
+      UrlDownloadClient.download(paeURL, pae);
+    } catch (IOException e)
+    {
+      throw e;
+    }
+    // cache and it if successful
+    paeDownloadCache.put(paeURL, pae);
+    return pae;
   }
 
-  public static void addAlphaFoldPAEToStructure(AlignmentI pdbAlignment,
-          File pae, int index, String structIdOrFile, boolean isStructId)
+  /**
+   * get an alphafold pAE for the given id, and add it to sequence 0 in
+   * pdbAlignment (assuming it came from structurefile parser).
+   * 
+   * @param id
+   * @param pdbAlignment
+   * @param retrievalUrl
+   *          - URL of .mmcif from EBI-AlphaFold - will be used to generate the
+   *          pAE URL automatically
+   * @throws IOException
+   * @throws Exception
+   */
+  public static void retrieve_AlphaFold_pAE(String id,
+          AlignmentI pdbAlignment, String retrievalUrl) throws IOException
   {
-    addAlphaFoldPAE(pdbAlignment, pae, index, structIdOrFile, true,
-            isStructId);
+    File pae = fetchAlphaFoldPAE(id, retrievalUrl);
+    addAlphaFoldPAE(pdbAlignment, pae, 0, null, false, false, null);
   }
 
   public static void addAlphaFoldPAE(AlignmentI pdbAlignment, File pae,
-          int index, String id, boolean isStruct, boolean isStructId)
+          int index, String id, boolean isStruct, boolean isStructId,
+          String label)
   {
     FileInputStream paeInput = null;
     try
@@ -289,32 +318,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
               .getStructureSelectionManager(Desktop.instance);
       if (ssm != null)
       {
-        String structFile = isStructId ? ssm.findFileForPDBId(id) : id;
-        Console.debug("##### AHA! structFile = " + structFile);
-        Console.debug("##### structFile "
-                + (ssm.isPDBFileRegistered(structFile) ? "IS " : "is NOT ")
-                + "registered.");
-
-        StructureMapping[] smArray = ssm.getMapping(structFile);
-        Console.debug("##### AHA! smArray obtained with " + smArray.length
-                + " elements");
-
-        try
-        {
-          if (!importPaeJSONAsContactMatrixToStructure(smArray, paeInput))
-          {
-            Console.warn("Could not import contact matrix from '"
-                    + pae.getAbsolutePath() + "' to structure.");
-          }
-        } catch (IOException e1)
-        {
-          Console.error("Error when importing pAE file '"
-                  + pae.getAbsolutePath() + "'", e1);
-        } catch (ParseException e2)
-        {
-          Console.error("Error when parsing pAE file '"
-                  + pae.getAbsolutePath() + "'", e2);
-        }
+        String structFilename = isStructId ? ssm.findFileForPDBId(id) : id;
+        addPAEToStructure(ssm, structFilename, pae, label);
       }
 
     }
@@ -324,7 +329,7 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
       try
       {
         if (!importPaeJSONAsContactMatrixToSequence(pdbAlignment, paeInput,
-                index, id))
+                index, id, label))
         {
           Console.warn("Could not import contact matrix from '"
                   + pae.getAbsolutePath() + "' to sequence.");
@@ -342,6 +347,48 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
 
   }
 
+  public static void addPAEToStructure(StructureSelectionManager ssm,
+          String structFilename, File pae, String label)
+  {
+    FileInputStream paeInput = null;
+    try
+    {
+      paeInput = new FileInputStream(pae);
+    } catch (FileNotFoundException e)
+    {
+      Console.error(
+              "Could not find pAE file '" + pae.getAbsolutePath() + "'", e);
+      return;
+    }
+    if (ssm == null)
+    {
+      ssm = StructureSelectionManager
+              .getStructureSelectionManager(Desktop.instance);
+    }
+    if (ssm != null)
+    {
+      StructureMapping[] smArray = ssm.getMapping(structFilename);
+
+      try
+      {
+        if (!importPaeJSONAsContactMatrixToStructure(smArray, paeInput,
+                label))
+        {
+          Console.warn("Could not import contact matrix from '"
+                  + pae.getAbsolutePath() + "' to structure.");
+        }
+      } catch (IOException e1)
+      {
+        Console.error("Error when importing pAE file '"
+                + pae.getAbsolutePath() + "'", e1);
+      } catch (ParseException e2)
+      {
+        Console.error("Error when parsing pAE file '"
+                + pae.getAbsolutePath() + "'", e2);
+      }
+    }
+  }
+
   /**
    * parses the given pAE matrix and adds it to sequence 0 in the given
    * alignment
@@ -354,42 +401,17 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
    * @throws Exception
    */
   public static boolean importPaeJSONAsContactMatrixToSequence(
-          AlignmentI pdbAlignment, InputStream pae_input)
-          throws IOException, ParseException
-  {
-    return importPaeJSONAsContactMatrixToSequence(pdbAlignment, pae_input,
-            0, null);
-  }
-
-  public static boolean importPaeJSONAsContactMatrixToSequence(
           AlignmentI pdbAlignment, InputStream pae_input, int index,
-          String seqId) throws IOException, ParseException
+          String seqId, String label) throws IOException, ParseException
   {
     SequenceI sequence = null;
-    /* debugging */
-    SequenceI[] seqs = pdbAlignment.getSequencesArray();
-    if (seqs == null)
-      Console.debug("******* sequences is null");
-    else
-    {
-      for (int i = 0; i < seqs.length; i++)
-      {
-        SequenceI s = seqs[i];
-        Console.debug("******* sequences[" + i + "]='" + s.getName() + "'");
-      }
-    }
-    /* end debug */
     if (seqId == null)
     {
       int seqToGet = index > 0 ? index : 0;
       sequence = pdbAlignment.getSequenceAt(seqToGet);
-      Console.debug("***** Got sequence at index " + seqToGet + ": "
-              + (sequence == null ? null : sequence.getName()));
     }
     if (sequence == null)
     {
-      Console.debug("***** Looking for sequence with id '" + seqId + "'");
-
       SequenceI[] sequences = pdbAlignment.findSequenceMatch(seqId);
       if (sequences == null || sequences.length < 1)
       {
@@ -402,44 +424,74 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
         sequence = sequences[0]; // just use the first sequence with this seqId
       }
     }
+    if (sequence == null)
+    {
+      return false;
+    }
+    return importPaeJSONAsContactMatrixToSequence(pdbAlignment, pae_input,
+            sequence, label);
+  }
 
-    List<Object> pae_obj = (List<Object>) Platform.parseJSON(pae_input);
-    if (pae_obj == null)
+  public static boolean importPaeJSONAsContactMatrixToSequence(
+          AlignmentI pdbAlignment, InputStream pae_input,
+          SequenceI sequence, String label)
+          throws IOException, ParseException
+  {
+    JSONObject paeDict = parseJSONtoPAEContactMatrix(pae_input);
+    if (paeDict == null)
     {
       Console.debug("JSON file did not parse properly.");
       return false;
     }
     ContactMatrixI matrix = new PAEContactMatrix(sequence,
-            (Map<String, Object>) pae_obj.get(0));
+            (Map<String, Object>) paeDict);
 
     AlignmentAnnotation cmannot = sequence.addContactList(matrix);
+    if (label != null)
+      cmannot.label = label;
     pdbAlignment.addAnnotation(cmannot);
+
     return true;
   }
 
+  public static JSONObject parseJSONtoPAEContactMatrix(
+          InputStream pae_input) throws IOException, ParseException
+  {
+    Object paeJson = Platform.parseJSON(pae_input);
+    JSONObject paeDict = null;
+    if (paeJson instanceof JSONObject)
+    {
+      paeDict = (JSONObject) paeJson;
+    }
+    else if (paeJson instanceof JSONArray)
+    {
+      JSONArray jsonArray = (JSONArray) paeJson;
+      if (jsonArray.size() > 0)
+        paeDict = (JSONObject) jsonArray.get(0);
+    }
+
+    return paeDict;
+  }
+
   public static boolean importPaeJSONAsContactMatrixToStructure(
-          StructureMapping[] smArray, InputStream paeInput)
+          StructureMapping[] smArray, InputStream paeInput, String label)
           throws IOException, ParseException
   {
     boolean someDone = false;
-    Console.debug("##### smArray.length=" + smArray.length);
     for (StructureMapping sm : smArray)
     {
-      Console.debug("##### sm[n]=" + sm.getPdbId());
       boolean thisDone = importPaeJSONAsContactMatrixToStructure(sm,
-              paeInput);
-      Console.debug("##### thisDone = " + thisDone);
+              paeInput, label);
       someDone |= thisDone;
     }
     return someDone;
   }
 
   public static boolean importPaeJSONAsContactMatrixToStructure(
-          StructureMapping sm, InputStream paeInput)
+          StructureMapping sm, InputStream paeInput, String label)
           throws IOException, ParseException
   {
-
-    List<Object> pae_obj = (List<Object>) Platform.parseJSON(paeInput);
+    JSONObject pae_obj = parseJSONtoPAEContactMatrix(paeInput);
     if (pae_obj == null)
     {
       Console.debug("JSON file did not parse properly.");
@@ -447,16 +499,15 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     }
 
     ContactMatrixI matrix = new PAEContactMatrix(sm.getSequence(),
-            (Map<String, Object>) pae_obj.get(0));
+            (Map<String, Object>) pae_obj);
 
     AlignmentAnnotation cmannot = sm.getSequence().addContactList(matrix);
-    // sm.getSequence().addAlignmentAnnotation(cmannot);
-    sm.transfer(cmannot);
-    // return true;
-
-    StructureSelectionManager ssm = StructureSelectionManager
-            .getStructureSelectionManager(Desktop.instance);
-    List<AlignedCodonFrame> acfList = ssm.getSequenceMappings();
+    if (label != null)
+    {
+      Console.debug("Setting annotation label to '" + label + "'");
+      cmannot.label = label;
+    }
+    sm.getSequence().addAlignmentAnnotation(cmannot);
 
     return true;
   }
@@ -481,8 +532,10 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     String file = tmpFile.getAbsolutePath();
     // todo get rid of Type and use FileFormatI instead?
     FileFormatI fileFormat = FileFormat.MMCif;
-    AlignmentI pdbAlignment = new FormatAdapter().readFile(tmpFile,
-            DataSourceType.FILE, fileFormat);
+    TFType tempfacType = TFType.PLDDT;
+    AlignmentI pdbAlignment = new FormatAdapter().readFile(tmpFile, file,
+            DataSourceType.FILE, fileFormat, tempfacType);
+
     if (pdbAlignment != null)
     {
       List<SequenceI> toremove = new ArrayList<SequenceI>();
@@ -495,7 +548,6 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
           if (pid.getFile() == file)
           {
             chid = pid.getChainCode();
-
           }
         }
         if (chain == null || (chid != null && (chid.equals(chain)
@@ -618,4 +670,9 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     return new PDBFeatureSettings();
   }
 
+  // days * 86400000
+  private static final long PAE_CACHE_STALE_TIME = 1 * 86400000;
+
+  private static Map<String, File> paeDownloadCache = new HashMap<>();
+
 }