src/jalview/ws/dbsources/EBIAlfaFold.java

   1
   2 /*
   3  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   4  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   5  *
   6  * This file is part of Jalview.
   7  *
   8  * Jalview is free software: you can redistribute it and/or
   9  * modify it under the terms of the GNU General Public License
  10  * as published by the Free Software Foundation, either version 3
  11  * of the License, or (at your option) any later version.
  12  *
  13  * Jalview is distributed in the hope that it will be useful, but
  14  * WITHOUT ANY WARRANTY; without even the implied warranty
  15  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  16  * PURPOSE.  See the GNU General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  20  * The Jalview Authors are detailed in the 'AUTHORS' file.
  21  */
  22 package jalview.ws.dbsources;
  23
  24 import java.io.File;
  25 import java.io.FileInputStream;
  26 import java.io.InputStream;
  27 import java.util.ArrayList;
  28 import java.util.List;
  29 import java.util.Map;
  30
  31 import com.stevesoft.pat.Regex;
  32
  33 import jalview.api.FeatureSettingsModelI;
  34 import jalview.bin.Console;
  35 import jalview.datamodel.AlignmentAnnotation;
  36 import jalview.datamodel.AlignmentI;
  37 import jalview.datamodel.ContactMatrixI;
  38 import jalview.datamodel.DBRefEntry;
  39 import jalview.datamodel.PDBEntry;
  40 import jalview.datamodel.SequenceFeature;
  41 import jalview.datamodel.SequenceI;
  42 import jalview.io.DataSourceType;
  43 import jalview.io.FileFormat;
  44 import jalview.io.FileFormatI;
  45 import jalview.io.FormatAdapter;
  46 import jalview.io.PDBFeatureSettings;
  47 import jalview.util.MessageManager;
  48 import jalview.util.Platform;
  49 import jalview.ws.datamodel.alphafold.PAEContactMatrix;
  50 import jalview.ws.utils.UrlDownloadClient;
  51
  52 /**
  53  * @author JimP
  54  *
  55  */
  56 public class EBIAlfaFold extends EbiFileRetrievedProxy
  57 {
  58   private static final String SEPARATOR = "|";
  59
  60   private static final String COLON = ":";
  61
  62   private static final int PDB_ID_LENGTH = 4;
  63
  64   private static String AF_VERSION = "2";
  65
  66   public EBIAlfaFold()
  67   {
  68     super();
  69   }
  70
  71   /*
  72    * (non-Javadoc)
  73    *
  74    * @see jalview.ws.DbSourceProxy#getAccessionSeparator()
  75    */
  76   @Override
  77   public String getAccessionSeparator()
  78   {
  79     return null;
  80   }
  81
  82   /*
  83    * (non-Javadoc)
  84    *
  85    * @see jalview.ws.DbSourceProxy#getAccessionValidator()
  86    */
  87   @Override
  88   public Regex getAccessionValidator()
  89   {
  90     Regex validator = new Regex("(AF-[A-Z]+[0-9]+[A-Z0-9]+-F1)");
  91     validator.setIgnoreCase(true);
  92     return validator;
  93   }
  94
  95   /*
  96    * (non-Javadoc)
  97    *
  98    * @see jalview.ws.DbSourceProxy#getDbSource()
  99    */
 100   @Override
 101   public String getDbSource()
 102   {
 103     return "ALPHAFOLD";
 104   }
 105
 106   /*
 107    * (non-Javadoc)
 108    *
 109    * @see jalview.ws.DbSourceProxy#getDbVersion()
 110    */
 111   @Override
 112   public String getDbVersion()
 113   {
 114     return "1";
 115   }
 116
 117   public static String getAlphaFoldCifDownloadUrl(String id, String vnum)
 118   {
 119     if (vnum == null || vnum.length() == 0)
 120     {
 121       vnum = AF_VERSION;
 122     }
 123     return "https://alphafold.ebi.ac.uk/files/" + id + "-model_v" + vnum
 124             + ".cif";
 125   }
 126
 127   public static String getAlphaFoldPaeDownloadUrl(String id, String vnum)
 128   {
 129     if (vnum == null || vnum.length() == 0)
 130     {
 131       vnum = AF_VERSION;
 132     }
 133     return "https://alphafold.ebi.ac.uk/files/" + id
 134             + "-predicted_aligned_error_v" + vnum + ".json";
 135   }
 136
 137   /*
 138    * (non-Javadoc)
 139    *
 140    * @see jalview.ws.DbSourceProxy#getSequenceRecords(java.lang.String[])
 141    */
 142   @Override
 143   public AlignmentI getSequenceRecords(String queries) throws Exception
 144   {
 145     return getSequenceRecords(queries, null);
 146   }
 147
 148   public AlignmentI getSequenceRecords(String queries, String retrievalUrl)
 149           throws Exception
 150   {
 151     AlignmentI pdbAlignment = null;
 152     String chain = null;
 153     String id = null;
 154     if (queries.indexOf(COLON) > -1)
 155     {
 156       chain = queries.substring(queries.indexOf(COLON) + 1);
 157       id = queries.substring(0, queries.indexOf(COLON));
 158     }
 159     else
 160     {
 161       id = queries;
 162     }
 163
 164     if (!isValidReference(id))
 165     {
 166       System.err.println(
 167               "(AFClient) Ignoring invalid alphafold query: '" + id + "'");
 168       stopQuery();
 169       return null;
 170     }
 171     String alphaFoldCif = getAlphaFoldCifDownloadUrl(id, AF_VERSION);
 172     if (retrievalUrl != null)
 173     {
 174       alphaFoldCif = retrievalUrl;
 175     }
 176
 177     try
 178     {
 179       File tmpFile = File.createTempFile(id, ".cif");
 180       Console.debug("Retrieving structure file for " + id + " from "
 181               + alphaFoldCif);
 182       UrlDownloadClient.download(alphaFoldCif, tmpFile);
 183
 184       // may not need this check ?
 185       file = tmpFile.getAbsolutePath();
 186       if (file == null)
 187       {
 188         return null;
 189       }
 190
 191       pdbAlignment = importDownloadedStructureFromUrl(alphaFoldCif, tmpFile,
 192               id, chain, getDbSource(), getDbVersion());
 193
 194       if (pdbAlignment == null || pdbAlignment.getHeight() < 1)
 195       {
 196         throw new Exception(MessageManager.formatMessage(
 197                 "exception.no_pdb_records_for_chain", new String[]
 198                 { id, ((chain == null) ? "' '" : chain) }));
 199       }
 200       retrieve_AlphaFold_pAE(id, pdbAlignment, retrievalUrl);
 201
 202     } catch (Exception ex) // Problem parsing PDB file
 203     {
 204       stopQuery();
 205       throw (ex);
 206     }
 207     return pdbAlignment;
 208   }
 209
 210   /**
 211    * get an alphafold pAE for the given id, and add it to sequence 0 in
 212    * pdbAlignment (assuming it came from structurefile parser).
 213    *
 214    * @param id
 215    * @param pdbAlignment
 216    * @param retrievalUrl
 217    *          - URL of .mmcif from EBI-AlphaFold - will be used to generate the
 218    *          pAE URL automatically
 219    * @throws Exception
 220    */
 221   public static void retrieve_AlphaFold_pAE(String id,
 222           AlignmentI pdbAlignment, String retrievalUrl) throws Exception
 223   {
 224     // import PAE as contact matrix - assume this will work if there was a
 225     // model
 226     File pae = File.createTempFile(id, "pae_json");
 227     String paeURL = getAlphaFoldPaeDownloadUrl(id, AF_VERSION);
 228
 229     if (retrievalUrl != null)
 230     {
 231       // manufacture the PAE url from a url like ...-model-vN.cif
 232       paeURL = retrievalUrl.replace("model", "predicted_aligned_error")
 233               .replace(".cif", ".json");
 234     }
 235     Console.debug("Downloading pae from " + paeURL + " to " + pae.toString()
 236             + "");
 237
 238     try
 239     {
 240       UrlDownloadClient.download(paeURL, pae);
 241       FileInputStream pae_input = new FileInputStream(pae);
 242
 243       if (!importPaeJSONAsContactMatrix(pdbAlignment, pae_input))
 244       {
 245         Console.warn("Couln't import contact matrix from " + paeURL
 246                 + " (stored in " + pae.toString() + ")");
 247       }
 248     } catch (Exception pae_ex)
 249     {
 250       Console.debug("Couldn't download PAE", pae_ex);
 251     }
 252
 253   }
 254
 255   /**
 256    * parses the given pAE matrix and adds it to sequence 0 in the given
 257    * alignment
 258    *
 259    * @param pdbAlignment
 260    * @param pae_input
 261    * @return true if there was a pAE matrix added
 262    * @throws Exception
 263    */
 264   public static boolean importPaeJSONAsContactMatrix(
 265           AlignmentI pdbAlignment, InputStream pae_input) throws Exception
 266   {
 267
 268     List<Object> pae_obj = (List<Object>) Platform.parseJSON(pae_input);
 269     if (pae_obj == null)
 270     {
 271       return false;
 272     }
 273     ContactMatrixI matrix = new PAEContactMatrix(
 274             pdbAlignment.getSequenceAt(0),
 275             (Map<String, Object>) pae_obj.get(0));
 276
 277     pdbAlignment.getSequenceAt(0)
 278             .addAlignmentAnnotation(pdbAlignment.addContactList(matrix));
 279     return true;
 280   }
 281
 282   /**
 283    * general purpose structure importer - designed to yield alignment useful for
 284    * transfer of annotation to associated sequences
 285    *
 286    * @param alphaFoldCif
 287    * @param tmpFile
 288    * @param id
 289    * @param chain
 290    * @param dbSource
 291    * @param dbVersion
 292    * @return
 293    * @throws Exception
 294    */
 295   public static AlignmentI importDownloadedStructureFromUrl(
 296           String alphaFoldCif, File tmpFile, String id, String chain,
 297           String dbSource, String dbVersion) throws Exception
 298   {
 299     String file = tmpFile.getAbsolutePath();
 300     // todo get rid of Type and use FileFormatI instead?
 301     FileFormatI fileFormat = FileFormat.MMCif;
 302     AlignmentI pdbAlignment = new FormatAdapter().readFile(tmpFile,
 303             DataSourceType.FILE, fileFormat);
 304     if (pdbAlignment != null)
 305     {
 306       List<SequenceI> toremove = new ArrayList<SequenceI>();
 307       for (SequenceI pdbcs : pdbAlignment.getSequences())
 308       {
 309         String chid = null;
 310         // Mapping map=null;
 311         for (PDBEntry pid : pdbcs.getAllPDBEntries())
 312         {
 313           if (pid.getFile() == file)
 314           {
 315             chid = pid.getChainCode();
 316
 317           }
 318         }
 319         if (chain == null || (chid != null && (chid.equals(chain)
 320                 || chid.trim().equals(chain.trim())
 321                 || (chain.trim().length() == 0 && chid.equals("_")))))
 322         {
 323           // FIXME seems to result in 'PDB|1QIP|1qip|A' - 1QIP is redundant.
 324           // TODO: suggest simplify naming to 1qip|A as default name defined
 325           pdbcs.setName(id + SEPARATOR + pdbcs.getName());
 326           // Might need to add more metadata to the PDBEntry object
 327           // like below
 328           /*
 329            * PDBEntry entry = new PDBEntry(); // Construct the PDBEntry
 330            * entry.setId(id); if (entry.getProperty() == null)
 331            * entry.setProperty(new Hashtable());
 332            * entry.getProperty().put("chains", pdbchain.id + "=" +
 333            * sq.getStart() + "-" + sq.getEnd());
 334            * sq.getDatasetSequence().addPDBId(entry);
 335            */
 336           // Add PDB DB Refs
 337           // We make a DBRefEtntry because we have obtained the PDB file from
 338           // a
 339           // verifiable source
 340           // JBPNote - PDB DBRefEntry should also carry the chain and mapping
 341           // information
 342           if (dbSource != null)
 343           {
 344             DBRefEntry dbentry = new DBRefEntry(dbSource,
 345
 346                     dbVersion, (chid == null ? id : id + chid));
 347             // dbentry.setMap()
 348             pdbcs.addDBRef(dbentry);
 349             // update any feature groups
 350             List<SequenceFeature> allsf = pdbcs.getFeatures()
 351                     .getAllFeatures();
 352             List<SequenceFeature> newsf = new ArrayList<SequenceFeature>();
 353             if (allsf != null && allsf.size() > 0)
 354             {
 355               for (SequenceFeature f : allsf)
 356               {
 357                 if (file.equals(f.getFeatureGroup()))
 358                 {
 359                   f = new SequenceFeature(f, f.type, f.begin, f.end, id,
 360                           f.score);
 361                 }
 362                 newsf.add(f);
 363               }
 364               pdbcs.setSequenceFeatures(newsf);
 365             }
 366           }
 367         }
 368         else
 369         {
 370           // mark this sequence to be removed from the alignment
 371           // - since it's not from the right chain
 372           toremove.add(pdbcs);
 373         }
 374       }
 375       // now remove marked sequences
 376       for (SequenceI pdbcs : toremove)
 377       {
 378         pdbAlignment.deleteSequence(pdbcs);
 379         if (pdbcs.getAnnotation() != null)
 380         {
 381           for (AlignmentAnnotation aa : pdbcs.getAnnotation())
 382           {
 383             pdbAlignment.deleteAnnotation(aa);
 384           }
 385         }
 386       }
 387     }
 388     return pdbAlignment;
 389   }
 390
 391   /*
 392    * (non-Javadoc)
 393    *
 394    * @see jalview.ws.DbSourceProxy#isValidReference(java.lang.String)
 395    */
 396   @Override
 397   public boolean isValidReference(String accession)
 398   {
 399     Regex r = getAccessionValidator();
 400     return r.search(accession.trim());
 401   }
 402
 403   /**
 404    * human glyoxalase
 405    */
 406   @Override
 407   public String getTestQuery()
 408   {
 409     return "AF-O15552-F1";
 410   }
 411
 412   @Override
 413   public String getDbName()
 414   {
 415     return "ALPHAFOLD"; // getDbSource();
 416   }
 417
 418   @Override
 419   public int getTier()
 420   {
 421     return 0;
 422   }
 423
 424   /**
 425    * Returns a descriptor for suitable feature display settings with
 426    * <ul>
 427    * <li>ResNums or insertions features visible</li>
 428    * <li>insertions features coloured red</li>
 429    * <li>ResNum features coloured by label</li>
 430    * <li>Insertions displayed above (on top of) ResNums</li>
 431    * </ul>
 432    */
 433   @Override
 434   public FeatureSettingsModelI getFeatureColourScheme()
 435   {
 436     return new PDBFeatureSettings();
 437   }
 438
 439 }