src/jalview/ws/dbsources/EBIAlfaFold.java

   1
   2 /*
   3  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   4  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   5  *
   6  * This file is part of Jalview.
   7  *
   8  * Jalview is free software: you can redistribute it and/or
   9  * modify it under the terms of the GNU General Public License
  10  * as published by the Free Software Foundation, either version 3
  11  * of the License, or (at your option) any later version.
  12  *
  13  * Jalview is distributed in the hope that it will be useful, but
  14  * WITHOUT ANY WARRANTY; without even the implied warranty
  15  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  16  * PURPOSE.  See the GNU General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  20  * The Jalview Authors are detailed in the 'AUTHORS' file.
  21  */
  22 package jalview.ws.dbsources;
  23
  24 import jalview.api.FeatureSettingsModelI;
  25 import jalview.bin.Cache;
  26 import jalview.bin.Console;
  27 import jalview.datamodel.AlignmentAnnotation;
  28 import jalview.datamodel.AlignmentI;
  29 import jalview.datamodel.ContactMatrix;
  30 import jalview.datamodel.ContactMatrixI;
  31 import jalview.datamodel.DBRefEntry;
  32 import jalview.datamodel.DBRefSource;
  33 import jalview.datamodel.PDBEntry;
  34 import jalview.datamodel.PDBEntry.Type;
  35 import jalview.datamodel.SequenceFeature;
  36 import jalview.datamodel.SequenceI;
  37 import jalview.datamodel.features.SequenceFeaturesI;
  38 import jalview.io.DataSourceType;
  39 import jalview.io.FileFormat;
  40 import jalview.io.FileFormatI;
  41 import jalview.io.FormatAdapter;
  42 import jalview.io.PDBFeatureSettings;
  43 import jalview.javascript.json.JSON;
  44 import jalview.structure.StructureImportSettings;
  45 import jalview.util.HttpUtils;
  46 import jalview.util.MessageManager;
  47 import jalview.util.Platform;
  48 import jalview.ws.datamodel.alphafold.PAEContactMatrix;
  49 import jalview.ws.ebi.EBIFetchClient;
  50 import jalview.ws.utils.UrlDownloadClient;
  51
  52 import java.io.BufferedReader;
  53 import java.io.File;
  54 import java.io.FileInputStream;
  55 import java.util.ArrayList;
  56 import java.util.List;
  57 import java.util.Map;
  58
  59 import org.jmol.adapter.readers.simple.JSONReader;
  60
  61 import com.stevesoft.pat.Regex;
  62
  63 /**
  64  * @author JimP
  65  *
  66  */
  67 public class EBIAlfaFold extends EbiFileRetrievedProxy
  68 {
  69   private static final String SEPARATOR = "|";
  70
  71   private static final String COLON = ":";
  72
  73   private static final int PDB_ID_LENGTH = 4;
  74
  75   public EBIAlfaFold()
  76   {
  77     super();
  78   }
  79
  80   /*
  81    * (non-Javadoc)
  82    *
  83    * @see jalview.ws.DbSourceProxy#getAccessionSeparator()
  84    */
  85   @Override
  86   public String getAccessionSeparator()
  87   {
  88     return null;
  89   }
  90
  91   /*
  92    * (non-Javadoc)
  93    *
  94    * @see jalview.ws.DbSourceProxy#getAccessionValidator()
  95    */
  96   @Override
  97   public Regex getAccessionValidator()
  98   {
  99     Regex validator =  new Regex("(AF-[A-Z]+[0-9]+[A-Z0-9]+-F1)");
 100     validator.setIgnoreCase(true);
 101     return validator;
 102   }
 103
 104   /*
 105    * (non-Javadoc)
 106    *
 107    * @see jalview.ws.DbSourceProxy#getDbSource()
 108    */
 109   @Override
 110   public String getDbSource()
 111   {
 112     return "ALPHAFOLD";
 113   }
 114
 115   /*
 116    * (non-Javadoc)
 117    *
 118    * @see jalview.ws.DbSourceProxy#getDbVersion()
 119    */
 120   @Override
 121   public String getDbVersion()
 122   {
 123     return "1";
 124   }
 125
 126   public static String getAlphaFoldCifDownloadUrl(String id)
 127   {
 128     return "https://alphafold.ebi.ac.uk/files/" + id + "-model_v1.cif";
 129   }
 130
 131   public static String getAlphaFoldPaeDownloadUrl(String id)
 132   {
 133     return "https://alphafold.ebi.ac.uk/files/" + id
 134             + "-predicted_aligned_error_v1.json";
 135   }
 136
 137   /*
 138    * (non-Javadoc)
 139    *
 140    * @see jalview.ws.DbSourceProxy#getSequenceRecords(java.lang.String[])
 141    */
 142   @Override
 143   public AlignmentI getSequenceRecords(String queries) throws Exception
 144   {
 145     return getSequenceRecords(queries, null);
 146   }
 147   public AlignmentI getSequenceRecords(String queries, String retrievalUrl) throws Exception
 148   {
 149     AlignmentI pdbAlignment = null;
 150     String chain = null;
 151     String id = null;
 152     if (queries.indexOf(COLON) > -1)
 153     {
 154       chain = queries.substring(queries.indexOf(COLON) + 1);
 155       id = queries.substring(0, queries.indexOf(COLON));
 156     }
 157     else
 158     {
 159       id = queries;
 160     }
 161
 162     if (!isValidReference(id))
 163     {
 164       System.err.println(
 165               "(AFClient) Ignoring invalid alphafold query: '" + id + "'");
 166       stopQuery();
 167       return null;
 168     }
 169     String alphaFoldCif = getAlphaFoldCifDownloadUrl(id);
 170     if (retrievalUrl != null)
 171     {
 172       alphaFoldCif = retrievalUrl;
 173     }
 174
 175     try
 176     {
 177       File tmpFile = File.createTempFile(id, ".cif");
 178       Console.debug("Retrieving structure file for "+id+" from "+alphaFoldCif);
 179       UrlDownloadClient.download(alphaFoldCif, tmpFile);
 180
 181       // may not need this check ?
 182       file = tmpFile.getAbsolutePath();
 183       if (file == null)
 184       {
 185         return null;
 186       }
 187
 188       pdbAlignment = importDownloadedStructureFromUrl(alphaFoldCif, tmpFile, id, chain, getDbSource(),getDbVersion());
 189
 190
 191       if (pdbAlignment == null || pdbAlignment.getHeight() < 1)
 192       {
 193         throw new Exception(MessageManager.formatMessage(
 194                 "exception.no_pdb_records_for_chain", new String[]
 195                 { id, ((chain == null) ? "' '" : chain) }));
 196       }
 197
 198       // import PAE as contact matrix - assume this will work if there was a
 199       // model
 200       File pae = File.createTempFile(id, "pae_json");
 201       String paeURL = getAlphaFoldPaeDownloadUrl(id);
 202
 203       if (retrievalUrl!=null) {
 204         // manufacture the PAE url from a url like ...-model-vN.cif
 205         paeURL = retrievalUrl.replace("model","predicted_aligned_error").replace(".cif",".json");
 206       }
 207       Console.debug("Downloading pae from " + paeURL
 208               + " to " + pae.toString() + "");
 209
 210       try {
 211         UrlDownloadClient.download(paeURL, pae);
 212       if (!importPaeJSONAsContactMatrix(pdbAlignment, pae))
 213       {
 214         Console.warn("Couln't import contact matrix from " + paeURL
 215                 + " (stored in " + pae.toString() + ")");
 216       }
 217       } catch (Exception pae_ex) {
 218         Console.debug("Couldn't download PAE",pae_ex);
 219       }
 220
 221     } catch (Exception ex) // Problem parsing PDB file
 222     {
 223       stopQuery();
 224       throw (ex);
 225     }
 226     return pdbAlignment;
 227   }
 228
 229   private boolean importPaeJSONAsContactMatrix(AlignmentI pdbAlignment,
 230           File pae) throws Exception
 231   {
 232     FileInputStream pae_input = new FileInputStream(pae);
 233
 234     List<Object> pae_obj = (List<Object>) Platform
 235             .parseJSON(pae_input);
 236     if (pae_obj == null)
 237     {
 238       return false;
 239     }
 240     ContactMatrixI matrix = new PAEContactMatrix(
 241             pdbAlignment.getSequenceAt(0), (Map<String, Object>)pae_obj.get(0));
 242
 243     pdbAlignment.getSequenceAt(0).addAlignmentAnnotation(pdbAlignment.addContactList(matrix));
 244     return true;
 245   }
 246
 247   /**
 248    * general purpose structure importer - designed to yield alignment useful for transfer of annotation to associated sequences
 249    * @param alphaFoldCif
 250    * @param tmpFile
 251    * @param id
 252    * @param chain
 253    * @param dbSource
 254    * @param dbVersion
 255    * @return
 256    * @throws Exception
 257    */
 258   public static AlignmentI importDownloadedStructureFromUrl(String alphaFoldCif,
 259           File tmpFile, String id, String chain, String dbSource, String dbVersion) throws Exception
 260   {
 261     String file = tmpFile.getAbsolutePath();
 262     // todo get rid of Type and use FileFormatI instead?
 263     FileFormatI fileFormat = FileFormat.MMCif;
 264     AlignmentI pdbAlignment = new FormatAdapter().readFile(tmpFile,
 265             DataSourceType.FILE, fileFormat);
 266     if (pdbAlignment != null)
 267     {
 268       List<SequenceI> toremove = new ArrayList<SequenceI>();
 269       for (SequenceI pdbcs : pdbAlignment.getSequences())
 270       {
 271         String chid = null;
 272         // Mapping map=null;
 273         for (PDBEntry pid : pdbcs.getAllPDBEntries())
 274         {
 275           if (pid.getFile() == file)
 276           {
 277             chid = pid.getChainCode();
 278
 279           }
 280         }
 281         if (chain == null || (chid != null && (chid.equals(chain)
 282                 || chid.trim().equals(chain.trim())
 283                 || (chain.trim().length() == 0 && chid.equals("_")))))
 284         {
 285           // FIXME seems to result in 'PDB|1QIP|1qip|A' - 1QIP is redundant.
 286           // TODO: suggest simplify naming to 1qip|A as default name defined
 287           pdbcs.setName(id + SEPARATOR + pdbcs.getName());
 288           // Might need to add more metadata to the PDBEntry object
 289           // like below
 290           /*
 291            * PDBEntry entry = new PDBEntry(); // Construct the PDBEntry
 292            * entry.setId(id); if (entry.getProperty() == null)
 293            * entry.setProperty(new Hashtable());
 294            * entry.getProperty().put("chains", pdbchain.id + "=" +
 295            * sq.getStart() + "-" + sq.getEnd());
 296            * sq.getDatasetSequence().addPDBId(entry);
 297            */
 298           // Add PDB DB Refs
 299           // We make a DBRefEtntry because we have obtained the PDB file from
 300           // a
 301           // verifiable source
 302           // JBPNote - PDB DBRefEntry should also carry the chain and mapping
 303           // information
 304           if (dbSource != null)
 305           {
 306             DBRefEntry dbentry = new DBRefEntry(dbSource,
 307
 308                     dbVersion, (chid == null ? id : id + chid));
 309             // dbentry.setMap()
 310             pdbcs.addDBRef(dbentry);
 311             // update any feature groups
 312             List<SequenceFeature> allsf = pdbcs.getFeatures().getAllFeatures();
 313             List<SequenceFeature> newsf = new ArrayList<SequenceFeature>();
 314             if (allsf!=null && allsf.size()>0)
 315             {
 316               for (SequenceFeature f:allsf)
 317               {
 318                 if (file.equals(f.getFeatureGroup()))
 319                 {
 320                   f = new SequenceFeature(f, f.type, f.begin, f.end, id, f.score);
 321                 }
 322                 newsf.add(f);
 323               }
 324               pdbcs.setSequenceFeatures(newsf);
 325             }
 326           }
 327         }
 328         else
 329         {
 330           // mark this sequence to be removed from the alignment
 331           // - since it's not from the right chain
 332           toremove.add(pdbcs);
 333         }
 334       }
 335       // now remove marked sequences
 336       for (SequenceI pdbcs : toremove)
 337       {
 338         pdbAlignment.deleteSequence(pdbcs);
 339         if (pdbcs.getAnnotation() != null)
 340         {
 341           for (AlignmentAnnotation aa : pdbcs.getAnnotation())
 342           {
 343             pdbAlignment.deleteAnnotation(aa);
 344           }
 345         }
 346       }
 347     }
 348     return pdbAlignment;
 349   }
 350
 351   /*
 352    * (non-Javadoc)
 353    *
 354    * @see jalview.ws.DbSourceProxy#isValidReference(java.lang.String)
 355    */
 356   @Override
 357   public boolean isValidReference(String accession)
 358   {
 359     Regex r = getAccessionValidator();
 360     return r.search(accession.trim());
 361   }
 362
 363   /**
 364    * human glyoxalase
 365    */
 366   @Override
 367   public String getTestQuery()
 368   {
 369     return "AF-O15552-F1";
 370   }
 371
 372   @Override
 373   public String getDbName()
 374   {
 375     return "ALPHAFOLD"; // getDbSource();
 376   }
 377
 378   @Override
 379   public int getTier()
 380   {
 381     return 0;
 382   }
 383
 384   /**
 385    * Returns a descriptor for suitable feature display settings with
 386    * <ul>
 387    * <li>ResNums or insertions features visible</li>
 388    * <li>insertions features coloured red</li>
 389    * <li>ResNum features coloured by label</li>
 390    * <li>Insertions displayed above (on top of) ResNums</li>
 391    * </ul>
 392    */
 393   @Override
 394   public FeatureSettingsModelI getFeatureColourScheme()
 395   {
 396     return new PDBFeatureSettings();
 397   }
 398
 399 }