JAL-629 Fasta sequence id reading whitespace fix. Flexioble pae json keys and structu...
[jalview.git] / src / jalview / ws / dbsources / EBIAlfaFold.java
index 7c72f4b..b3bcfd9 100644 (file)
  */
 package jalview.ws.dbsources;
 
+import java.io.File;
+import java.io.FileInputStream;
+import java.io.FileNotFoundException;
+import java.io.IOException;
+import java.io.InputStream;
+import java.util.ArrayList;
+import java.util.List;
+import java.util.Map;
+
+import org.json.simple.JSONArray;
+import org.json.simple.JSONObject;
+import org.json.simple.parser.ParseException;
+
+import com.stevesoft.pat.Regex;
+
 import jalview.api.FeatureSettingsModelI;
-import jalview.bin.Cache;
 import jalview.bin.Console;
+import jalview.datamodel.AlignedCodonFrame;
 import jalview.datamodel.AlignmentAnnotation;
 import jalview.datamodel.AlignmentI;
-import jalview.datamodel.ContactMatrix;
 import jalview.datamodel.ContactMatrixI;
 import jalview.datamodel.DBRefEntry;
-import jalview.datamodel.DBRefSource;
 import jalview.datamodel.PDBEntry;
-import jalview.datamodel.PDBEntry.Type;
 import jalview.datamodel.SequenceFeature;
 import jalview.datamodel.SequenceI;
-import jalview.datamodel.features.SequenceFeaturesI;
+import jalview.gui.Desktop;
 import jalview.io.DataSourceType;
 import jalview.io.FileFormat;
 import jalview.io.FileFormatI;
 import jalview.io.FormatAdapter;
 import jalview.io.PDBFeatureSettings;
-import jalview.javascript.json.JSON;
-import jalview.structure.StructureImportSettings;
-import jalview.util.HttpUtils;
+import jalview.structure.StructureMapping;
+import jalview.structure.StructureSelectionManager;
 import jalview.util.MessageManager;
 import jalview.util.Platform;
 import jalview.ws.datamodel.alphafold.PAEContactMatrix;
-import jalview.ws.ebi.EBIFetchClient;
 import jalview.ws.utils.UrlDownloadClient;
 
-import java.io.BufferedReader;
-import java.io.File;
-import java.io.FileInputStream;
-import java.util.ArrayList;
-import java.util.List;
-import java.util.Map;
-
-import org.jmol.adapter.readers.simple.JSONReader;
-
-import com.stevesoft.pat.Regex;
-
 /**
  * @author JimP
  * 
@@ -72,6 +71,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
 
   private static final int PDB_ID_LENGTH = 4;
 
+  private static String AF_VERSION = "3";
+
   public EBIAlfaFold()
   {
     super();
@@ -123,15 +124,24 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     return "1";
   }
 
-  public static String getAlphaFoldCifDownloadUrl(String id)
+  public static String getAlphaFoldCifDownloadUrl(String id, String vnum)
   {
-    return "https://alphafold.ebi.ac.uk/files/" + id + "-model_v1.cif";
+    if (vnum == null || vnum.length() == 0)
+    {
+      vnum = AF_VERSION;
+    }
+    return "https://alphafold.ebi.ac.uk/files/" + id + "-model_v" + vnum
+            + ".cif";
   }
 
-  public static String getAlphaFoldPaeDownloadUrl(String id)
+  public static String getAlphaFoldPaeDownloadUrl(String id, String vnum)
   {
+    if (vnum == null || vnum.length() == 0)
+    {
+      vnum = AF_VERSION;
+    }
     return "https://alphafold.ebi.ac.uk/files/" + id
-            + "-predicted_aligned_error_v1.json";
+            + "-predicted_aligned_error_v" + vnum + ".json";
   }
 
   /*
@@ -168,7 +178,7 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
       stopQuery();
       return null;
     }
-    String alphaFoldCif = getAlphaFoldCifDownloadUrl(id);
+    String alphaFoldCif = getAlphaFoldCifDownloadUrl(id, AF_VERSION);
     if (retrievalUrl != null)
     {
       alphaFoldCif = retrievalUrl;
@@ -177,7 +187,8 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
     try
     {
       File tmpFile = File.createTempFile(id, ".cif");
-      Console.debug("Retrieving structure file for "+id+" from "+alphaFoldCif);
+      Console.debug("Retrieving structure file for " + id + " from "
+              + alphaFoldCif);
       UrlDownloadClient.download(alphaFoldCif, tmpFile);
 
       // may not need this check ?
@@ -196,53 +207,270 @@ public class EBIAlfaFold extends EbiFileRetrievedProxy
                 "exception.no_pdb_records_for_chain", new String[]
                 { id, ((chain == null) ? "' '" : chain) }));
       }
+      // done during structure retrieval
+      // retrieve_AlphaFold_pAE(id, pdbAlignment, retrievalUrl);
+
+    } catch (Exception ex) // Problem parsing PDB file
+    {
+      stopQuery();
+      throw (ex);
+    }
+    return pdbAlignment;
+  }
+
+  /**
+   * get an alphafold pAE for the given id, and add it to sequence 0 in
+   * pdbAlignment (assuming it came from structurefile parser).
+   * 
+   * @param id
+   * @param pdbAlignment
+   * @param retrievalUrl
+   *          - URL of .mmcif from EBI-AlphaFold - will be used to generate the
+   *          pAE URL automatically
+   * @throws IOException
+   * @throws Exception
+   */
+  public static void retrieve_AlphaFold_pAE(String id,
+          AlignmentI pdbAlignment, String retrievalUrl) throws IOException
+  {
+    // import PAE as contact matrix - assume this will work if there was a
+    // model
+    String paeURL = getAlphaFoldPaeDownloadUrl(id, AF_VERSION);
+
+    if (retrievalUrl != null)
+    {
+      // manufacture the PAE url from a url like ...-model-vN.cif
+      paeURL = retrievalUrl.replace("model", "predicted_aligned_error")
+              .replace(".cif", ".json");
+    }
+
+    File pae = null;
+    try
+    {
+      pae = File.createTempFile(id == null ? "af_pae" : id, "pae_json");
+    } catch (IOException e)
+    {
+      e.printStackTrace();
+    }
+    Console.debug("Downloading pae from " + paeURL + " to " + pae.toString()
+            + "");
+    UrlDownloadClient.download(paeURL, pae);
+    addAlphaFoldPAEToSequence(pdbAlignment, pae, 0, null);
+  }
+
+  public static void addAlphaFoldPAEToSequence(AlignmentI pdbAlignment,
+          File pae, int index, String seqId)
+  {
+    addAlphaFoldPAE(pdbAlignment, pae, index, seqId, false, false);
+  }
+
+  public static void addAlphaFoldPAEToStructure(AlignmentI pdbAlignment,
+          File pae, int index, String structIdOrFile, boolean isStructId)
+  {
+    addAlphaFoldPAE(pdbAlignment, pae, index, structIdOrFile, true,
+            isStructId);
+  }
+
+  public static void addAlphaFoldPAE(AlignmentI pdbAlignment, File pae,
+          int index, String id, boolean isStruct, boolean isStructId)
+  {
+    FileInputStream paeInput = null;
+    try
+    {
+      paeInput = new FileInputStream(pae);
+    } catch (FileNotFoundException e)
+    {
+      Console.error(
+              "Could not find pAE file '" + pae.getAbsolutePath() + "'", e);
+      return;
+    }
+
+    if (isStruct)
+    {
+      StructureSelectionManager ssm = StructureSelectionManager
+              .getStructureSelectionManager(Desktop.instance);
+      if (ssm != null)
+      {
+        String structFile = isStructId ? ssm.findFileForPDBId(id) : id;
+        Console.debug("##### AHA! structFile = " + structFile);
+        Console.debug("##### structFile "
+                + (ssm.isPDBFileRegistered(structFile) ? "IS " : "is NOT ")
+                + "registered.");
+
+        StructureMapping[] smArray = ssm.getMapping(structFile);
+        Console.debug("##### AHA! smArray obtained with " + smArray.length
+                + " elements");
+
+        try
+        {
+          if (!importPaeJSONAsContactMatrixToStructure(smArray, paeInput))
+          {
+            Console.warn("Could not import contact matrix from '"
+                    + pae.getAbsolutePath() + "' to structure.");
+          }
+        } catch (IOException e1)
+        {
+          Console.error("Error when importing pAE file '"
+                  + pae.getAbsolutePath() + "'", e1);
+        } catch (ParseException e2)
+        {
+          Console.error("Error when parsing pAE file '"
+                  + pae.getAbsolutePath() + "'", e2);
+        }
+      }
 
-      // import PAE as contact matrix - assume this will work if there was a
-      // model
-      File pae = File.createTempFile(id, "pae_json");
-      String paeURL = getAlphaFoldPaeDownloadUrl(id);
-      
-      if (retrievalUrl!=null) {
-        // manufacture the PAE url from a url like ...-model-vN.cif
-        paeURL = retrievalUrl.replace("model","predicted_aligned_error").replace(".cif",".json");
+    }
+    else
+    {
+      // attach to sequence?!
+      try
+      {
+        if (!importPaeJSONAsContactMatrixToSequence(pdbAlignment, paeInput,
+                index, id))
+        {
+          Console.warn("Could not import contact matrix from '"
+                  + pae.getAbsolutePath() + "' to sequence.");
+        }
+      } catch (IOException e1)
+      {
+        Console.error("Error when importing pAE file '"
+                + pae.getAbsolutePath() + "'", e1);
+      } catch (ParseException e2)
+      {
+        Console.error("Error when parsing pAE file '"
+                + pae.getAbsolutePath() + "'", e2);
       }
-      Console.debug("Downloading pae from " + paeURL
-              + " to " + pae.toString() + "");
+    }
 
-      try {
-        UrlDownloadClient.download(paeURL, pae);        
-      if (!importPaeJSONAsContactMatrix(pdbAlignment, pae))
+  }
+
+  /**
+   * parses the given pAE matrix and adds it to sequence 0 in the given
+   * alignment
+   * 
+   * @param pdbAlignment
+   * @param pae_input
+   * @return true if there was a pAE matrix added
+   * @throws ParseException
+   * @throws IOException
+   * @throws Exception
+   */
+  public static boolean importPaeJSONAsContactMatrixToSequence(
+          AlignmentI pdbAlignment, InputStream pae_input)
+          throws IOException, ParseException
+  {
+    return importPaeJSONAsContactMatrixToSequence(pdbAlignment, pae_input,
+            0, null);
+  }
+
+  public static boolean importPaeJSONAsContactMatrixToSequence(
+          AlignmentI pdbAlignment, InputStream pae_input, int index,
+          String seqId) throws IOException, ParseException
+  {
+    SequenceI sequence = null;
+    /* debugging */
+    SequenceI[] seqs = pdbAlignment.getSequencesArray();
+    if (seqs == null)
+      Console.debug("******* sequences is null");
+    else
+    {
+      for (int i = 0; i < seqs.length; i++)
+      {
+        SequenceI s = seqs[i];
+      }
+    }
+    /* end debug */
+    if (seqId == null)
+    {
+      int seqToGet = index > 0 ? index : 0;
+      sequence = pdbAlignment.getSequenceAt(seqToGet);
+      Console.debug("***** Got sequence at index " + seqToGet + ": "
+              + (sequence == null ? null : sequence.getName()));
+    }
+    if (sequence == null)
+    {
+      SequenceI[] sequences = pdbAlignment.findSequenceMatch(seqId);
+      if (sequences == null || sequences.length < 1)
       {
-        Console.warn("Couln't import contact matrix from " + paeURL
-                + " (stored in " + pae.toString() + ")");
+        Console.warn("Could not find sequence with id '" + seqId
+                + "' to attach pAE matrix to. Ignoring matrix.");
+        return false;
       }
-      } catch (Exception pae_ex) {
-        Console.debug("Couldn't download PAE",pae_ex);
+      else
+      {
+        sequence = sequences[0]; // just use the first sequence with this seqId
       }
+    }
 
-    } catch (Exception ex) // Problem parsing PDB file
+    Object paeJson = Platform.parseJSON(pae_input);
+    JSONObject paeDict = null;
+    if (paeJson instanceof JSONObject)
     {
-      stopQuery();
-      throw (ex);
+      Console.debug("***** paeJson is a JSONObject");
+      paeDict = (JSONObject) paeJson;
     }
-    return pdbAlignment;
+    else if (paeJson instanceof JSONArray)
+    {
+      JSONArray jsonArray = (JSONArray) paeJson;
+      if (jsonArray.size() > 0)
+        paeDict = (JSONObject) jsonArray.get(0);
+    }
+
+    if (paeDict == null)
+    {
+      Console.debug("JSON file did not parse properly.");
+      return false;
+    }
+    ContactMatrixI matrix = new PAEContactMatrix(sequence,
+            (Map<String, Object>) paeDict);
+
+    AlignmentAnnotation cmannot = sequence.addContactList(matrix);
+    pdbAlignment.addAnnotation(cmannot);
+
+    return true;
   }
 
-  private boolean importPaeJSONAsContactMatrix(AlignmentI pdbAlignment,
-          File pae) throws Exception
+  public static boolean importPaeJSONAsContactMatrixToStructure(
+          StructureMapping[] smArray, InputStream paeInput)
+          throws IOException, ParseException
+  {
+    boolean someDone = false;
+    Console.debug("##### smArray.length=" + smArray.length);
+    for (StructureMapping sm : smArray)
+    {
+      Console.debug("##### sm[n]=" + sm.getPdbId());
+      boolean thisDone = importPaeJSONAsContactMatrixToStructure(sm,
+              paeInput);
+      Console.debug("##### thisDone = " + thisDone);
+      someDone |= thisDone;
+    }
+    return someDone;
+  }
+
+  public static boolean importPaeJSONAsContactMatrixToStructure(
+          StructureMapping sm, InputStream paeInput)
+          throws IOException, ParseException
   {
-    FileInputStream pae_input = new FileInputStream(pae);
 
-    List<Object> pae_obj = (List<Object>) Platform
-            .parseJSON(pae_input);
+    List<Object> pae_obj = (List<Object>) Platform.parseJSON(paeInput);
     if (pae_obj == null)
     {
+      Console.debug("JSON file did not parse properly.");
       return false;
     }
-    ContactMatrixI matrix = new PAEContactMatrix(
-            pdbAlignment.getSequenceAt(0), (Map<String, Object>)pae_obj.get(0));
 
-    pdbAlignment.getSequenceAt(0).addAlignmentAnnotation(pdbAlignment.addContactList(matrix));
+    ContactMatrixI matrix = new PAEContactMatrix(sm.getSequence(),
+            (Map<String, Object>) pae_obj.get(0));
+
+    AlignmentAnnotation cmannot = sm.getSequence().addContactList(matrix);
+    // sm.getSequence().addAlignmentAnnotation(cmannot);
+    sm.transfer(cmannot);
+    // return true;
+
+    StructureSelectionManager ssm = StructureSelectionManager
+            .getStructureSelectionManager(Desktop.instance);
+    List<AlignedCodonFrame> acfList = ssm.getSequenceMappings();
+
     return true;
   }