src/jalview/ws/dbsources/Uniprot.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.ws.dbsources;
  22
  23 import jalview.bin.Cache;
  24 import jalview.datamodel.Alignment;
  25 import jalview.datamodel.AlignmentI;
  26 import jalview.datamodel.DBRefEntry;
  27 import jalview.datamodel.DBRefSource;
  28 import jalview.datamodel.PDBEntry;
  29 import jalview.datamodel.Sequence;
  30 import jalview.datamodel.SequenceFeature;
  31 import jalview.datamodel.SequenceI;
  32 import jalview.schemes.ResidueProperties;
  33 import jalview.util.StringUtils;
  34 import jalview.ws.seqfetcher.DbSourceProxyImpl;
  35 import jalview.xml.binding.embl.ROOT;
  36 import jalview.xml.binding.uniprot.DbReferenceType;
  37 import jalview.xml.binding.uniprot.Entry;
  38 import jalview.xml.binding.uniprot.FeatureType;
  39 import jalview.xml.binding.uniprot.LocationType;
  40 import jalview.xml.binding.uniprot.PositionType;
  41 import jalview.xml.binding.uniprot.PropertyType;
  42
  43 import java.io.InputStream;
  44 import java.net.URL;
  45 import java.net.URLConnection;
  46 import java.util.ArrayList;
  47 import java.util.List;
  48 import java.util.Vector;
  49
  50 import javax.xml.bind.JAXBContext;
  51 import javax.xml.bind.JAXBElement;
  52 import javax.xml.bind.JAXBException;
  53 import javax.xml.stream.FactoryConfigurationError;
  54 import javax.xml.stream.XMLInputFactory;
  55 import javax.xml.stream.XMLStreamException;
  56 import javax.xml.stream.XMLStreamReader;
  57
  58 import com.stevesoft.pat.Regex;
  59
  60 /**
  61  * This class queries the Uniprot database for sequence data, unmarshals the
  62  * returned XML, and converts it to Jalview Sequence records (including attached
  63  * database references and sequence features)
  64  *
  65  * @author JimP
  66  *
  67  */
  68 public class Uniprot extends DbSourceProxyImpl
  69 {
  70   private static final String DEFAULT_UNIPROT_DOMAIN = "https://www.uniprot.org";
  71
  72   private static final String BAR_DELIMITER = "|";
  73
  74   /**
  75    * Constructor
  76    */
  77   public Uniprot()
  78   {
  79     super();
  80   }
  81
  82   private String getDomain()
  83   {
  84     return Cache.getDefault("UNIPROT_DOMAIN", DEFAULT_UNIPROT_DOMAIN);
  85   }
  86
  87   /*
  88    * (non-Javadoc)
  89    *
  90    * @see jalview.ws.DbSourceProxy#getAccessionSeparator()
  91    */
  92   @Override
  93   public String getAccessionSeparator()
  94   {
  95     return null;
  96   }
  97
  98   /*
  99    * (non-Javadoc)
 100    *
 101    * @see jalview.ws.DbSourceProxy#getAccessionValidator()
 102    */
 103   @Override
 104   public Regex getAccessionValidator()
 105   {
 106     return new Regex("([A-Z]+[0-9]+[A-Z0-9]+|[A-Z0-9]+_[A-Z0-9]+)");
 107   }
 108
 109   /*
 110    * (non-Javadoc)
 111    *
 112    * @see jalview.ws.DbSourceProxy#getDbSource()
 113    */
 114   @Override
 115   public String getDbSource()
 116   {
 117     return DBRefSource.UNIPROT;
 118   }
 119
 120   /*
 121    * (non-Javadoc)
 122    *
 123    * @see jalview.ws.DbSourceProxy#getDbVersion()
 124    */
 125   @Override
 126   public String getDbVersion()
 127   {
 128     return "0"; // we really don't know what version we're on.
 129   }
 130
 131   /*
 132    * (non-Javadoc)
 133    *
 134    * @see jalview.ws.DbSourceProxy#getSequenceRecords(java.lang.String[])
 135    */
 136   @Override
 137   public AlignmentI getSequenceRecords(String queries) throws Exception
 138   {
 139     startQuery();
 140     try
 141     {
 142       queries = queries.toUpperCase().replaceAll(
 143               "(UNIPROT\\|?|UNIPROT_|UNIREF\\d+_|UNIREF\\d+\\|?)", "");
 144       AlignmentI al = null;
 145
 146       String downloadstring = getDomain() + "/uniprot/" + queries
 147               + ".xml";
 148
 149       URL url = new URL(downloadstring);
 150       URLConnection urlconn = url.openConnection();
 151       InputStream istr = urlconn.getInputStream();
 152       List<Entry> entries = getUniprotEntries(istr);
 153       if (entries != null)
 154       {
 155         List<SequenceI> seqs = new ArrayList<>();
 156         for (Entry entry : entries)
 157         {
 158           seqs.add(uniprotEntryToSequence(entry));
 159         }
 160         al = new Alignment(seqs.toArray(new SequenceI[seqs.size()]));
 161       }
 162
 163       stopQuery();
 164       return al;
 165     } catch (Exception e)
 166     {
 167       throw (e);
 168     } finally
 169     {
 170       stopQuery();
 171     }
 172   }
 173
 174   /**
 175    * Converts an Entry object (bound from Uniprot XML) to a Jalview Sequence
 176    *
 177    * @param entry
 178    * @return
 179    */
 180   SequenceI uniprotEntryToSequence(Entry entry)
 181   {
 182     String id = getUniprotEntryId(entry);
 183     /*
 184      * Sequence should not include any whitespace, but JAXB leaves these in
 185      */
 186     String seqString = entry.getSequence().getValue().replaceAll("\\s*",
 187             "");
 188
 189     SequenceI sequence = new Sequence(id,
 190             seqString);
 191     sequence.setDescription(getUniprotEntryDescription(entry));
 192
 193     /*
 194      * add a 'self' DBRefEntry for each accession
 195      */
 196     final String dbVersion = getDbVersion();
 197     List<DBRefEntry> dbRefs = new ArrayList<>();
 198     for (String accessionId : entry.getAccession())
 199     {
 200       DBRefEntry dbRef = new DBRefEntry(DBRefSource.UNIPROT, dbVersion,
 201               accessionId);
 202       dbRefs.add(dbRef);
 203     }
 204
 205     /*
 206      * add a DBRefEntry for each dbReference element in the XML;
 207      * also add a PDBEntry if type="PDB";
 208      * also add an EMBLCDS dbref if protein sequence id is given
 209      * also add an Ensembl dbref " " " " " "
 210      */
 211     Vector<PDBEntry> pdbRefs = new Vector<>();
 212     for (DbReferenceType dbref : entry.getDbReference())
 213     {
 214       String type = dbref.getType();
 215       DBRefEntry dbr = new DBRefEntry(type,
 216               DBRefSource.UNIPROT + ":" + dbVersion, dbref.getId());
 217       dbRefs.add(dbr);
 218       if ("PDB".equals(type))
 219       {
 220         pdbRefs.add(new PDBEntry(dbr));
 221       }
 222       if ("EMBL".equals(type))
 223       {
 224         /*
 225          * e.g. Uniprot accession Q9BXM7 has
 226          * <dbReference type="EMBL" id="M19359">
 227          *   <property type="protein sequence ID" value="AAA40981.1"/>
 228          *   <property type="molecule type" value="Genomic_DNA"/>
 229          * </dbReference>
 230          */
 231         String cdsId = getProperty(dbref.getProperty(),
 232                 "protein sequence ID");
 233         if (cdsId != null && cdsId.trim().length() > 0)
 234         {
 235           // remove version
 236           String[] vrs = cdsId.split("\\.");
 237           String version = vrs.length > 1 ? vrs[1]
 238                   : DBRefSource.UNIPROT + ":" + dbVersion;
 239           dbr = new DBRefEntry(DBRefSource.EMBLCDS, version, vrs[0]);
 240           dbRefs.add(dbr);
 241         }
 242       }
 243       if ("Ensembl".equals(type))
 244       {
 245         /*
 246          * e.g. Uniprot accession Q9BXM7 has
 247          * <dbReference type="Ensembl" id="ENST00000321556">
 248          *   <molecule id="Q9BXM7-1"/>
 249          *   <property type="protein sequence ID" value="ENSP00000364204"/>
 250          *   <property type="gene ID" value="ENSG00000158828"/>
 251          * </dbReference>
 252          */
 253         String cdsId = getProperty(dbref.getProperty(),
 254                 "protein sequence ID");
 255         if (cdsId != null && cdsId.trim().length() > 0)
 256         {
 257           dbr = new DBRefEntry(DBRefSource.ENSEMBL,
 258                   DBRefSource.UNIPROT + ":" + dbVersion, cdsId.trim());
 259           dbRefs.add(dbr);
 260         }
 261       }
 262     }
 263
 264     /*
 265      * create features; they have either begin and end, or position, in XML
 266      */
 267     sequence.setPDBId(pdbRefs);
 268     if (entry.getFeature() != null)
 269     {
 270       for (FeatureType uf : entry.getFeature())
 271       {
 272         LocationType location = uf.getLocation();
 273         int start = 0;
 274         int end = 0;
 275         if (location.getPosition() != null)
 276         {
 277           start = location.getPosition().getPosition().intValue();
 278           end = start;
 279         }
 280         else
 281         {
 282           start = location.getBegin().getPosition().intValue();
 283           end = location.getEnd().getPosition().intValue();
 284         }
 285         SequenceFeature sf = new SequenceFeature(uf.getType(),
 286                 getDescription(uf), start, end, "Uniprot");
 287         sf.setStatus(uf.getStatus());
 288         sequence.addSequenceFeature(sf);
 289       }
 290     }
 291     for (DBRefEntry dbr : dbRefs)
 292     {
 293       sequence.addDBRef(dbr);
 294     }
 295     return sequence;
 296   }
 297
 298   /**
 299    * A helper method that builds a sequence feature description
 300    *
 301    * @param feature
 302    * @return
 303    */
 304   static String getDescription(FeatureType feature)
 305   {
 306     String orig = feature.getOriginal();
 307     List<String> variants = feature.getVariation();
 308     StringBuilder sb = new StringBuilder();
 309
 310     /*
 311      * append variant in standard format if present
 312      * e.g. p.Arg59Lys
 313      * multiple variants are split over lines using <br>
 314      */
 315     boolean asHtml = false;
 316     if (orig != null && !orig.isEmpty() && variants != null
 317             && !variants.isEmpty())
 318     {
 319       int p = 0;
 320       for (String var : variants)
 321       {
 322         // TODO proper HGVS nomenclature for delins structural variations
 323         // http://varnomen.hgvs.org/recommendations/protein/variant/delins/
 324         // for now we are pragmatic - any orig/variant sequence longer than
 325         // three characters is shown with single-character notation rather than
 326         // three-letter notation
 327         sb.append("p.");
 328         if (orig.length() < 4)
 329         {
 330           for (int c = 0, clen = orig.length(); c < clen; c++)
 331           {
 332             char origchar = orig.charAt(c);
 333             String orig3 = ResidueProperties.aa2Triplet.get("" + origchar);
 334             sb.append(orig3 == null ? origchar
 335                     : StringUtils.toSentenceCase(orig3));
 336           }
 337         }
 338         else
 339         {
 340           sb.append(orig);
 341         }
 342
 343         LocationType location = feature.getLocation();
 344         PositionType start = location.getPosition() == null
 345                 ? location.getBegin()
 346                 : location.getPosition();
 347         sb.append(Integer.toString(start.getPosition().intValue()));
 348
 349         if (var.length() < 4)
 350         {
 351           for (int c = 0, clen = var.length(); c < clen; c++)
 352           {
 353             char varchar = var.charAt(c);
 354             String var3 = ResidueProperties.aa2Triplet.get("" + varchar);
 355
 356             sb.append(var3 != null ? StringUtils.toSentenceCase(var3)
 357                     : "" + varchar);
 358           }
 359         }
 360         else
 361         {
 362           sb.append(var);
 363         }
 364         if (++p != variants.size())
 365         {
 366           sb.append("<br/>&nbsp;&nbsp;");
 367           asHtml = true;
 368         }
 369         else
 370         {
 371           sb.append(" ");
 372         }
 373       }
 374     }
 375     String description = feature.getDescription();
 376     if (description != null)
 377     {
 378       sb.append(description);
 379     }
 380     if (asHtml)
 381     {
 382       sb.insert(0, "<html>");
 383       sb.append("</html>");
 384     }
 385
 386     return sb.toString();
 387   }
 388
 389   /**
 390    * A helper method that searches the list of properties for one with the given
 391    * key, and if found returns the property value, else returns null
 392    *
 393    * @param properties
 394    * @param key
 395    * @return
 396    */
 397   static String getProperty(List<PropertyType> properties, String key)
 398   {
 399     String value = null;
 400     if (properties != null)
 401     {
 402       for (PropertyType prop : properties)
 403       {
 404         if (key.equals(prop.getType()))
 405         {
 406           value = prop.getValue();
 407           break;
 408         }
 409       }
 410     }
 411     return value;
 412   }
 413
 414   /**
 415    * Extracts xml element entry/protein/recommendedName/fullName
 416    *
 417    * @param entry
 418    * @return
 419    */
 420   static String getUniprotEntryDescription(Entry entry)
 421   {
 422     String desc = "";
 423     if (entry.getProtein() != null
 424             && entry.getProtein().getRecommendedName() != null)
 425     {
 426       // fullName is mandatory if recommendedName is present
 427       desc = entry.getProtein().getRecommendedName().getFullName()
 428               .getValue();
 429     }
 430     return desc;
 431   }
 432
 433   /**
 434    * Constructs a sequence id by concatenating all entry/name elements with '|'
 435    * separator
 436    *
 437    * @param entry
 438    * @return
 439    */
 440   static String getUniprotEntryId(Entry entry)
 441   {
 442     StringBuilder name = new StringBuilder(32);
 443     for (String n : entry.getName())
 444     {
 445       if (name.length() > 0)
 446       {
 447         name.append(BAR_DELIMITER);
 448       }
 449       name.append(n);
 450     }
 451     return name.toString();
 452   }
 453
 454   /*
 455    * (non-Javadoc)
 456    *
 457    * @see jalview.ws.DbSourceProxy#isValidReference(java.lang.String)
 458    */
 459   @Override
 460   public boolean isValidReference(String accession)
 461   {
 462     // TODO: make the following a standard validator
 463     return (accession == null || accession.length() < 2) ? false
 464             : getAccessionValidator().search(accession);
 465   }
 466
 467   /**
 468    * return LDHA_CHICK uniprot entry
 469    */
 470   @Override
 471   public String getTestQuery()
 472   {
 473     return "P00340";
 474   }
 475
 476   @Override
 477   public String getDbName()
 478   {
 479     return "Uniprot"; // getDbSource();
 480   }
 481
 482   @Override
 483   public int getTier()
 484   {
 485     return 0;
 486   }
 487
 488   /**
 489    * Reads the reply to the EBI Fetch Uniprot data query, unmarshals it to an
 490    * Uniprot object, and returns the enclosed Entry objects, or null on any
 491    * failure
 492    *
 493    * @param is
 494    * @return
 495    */
 496   public List<Entry> getUniprotEntries(InputStream is)
 497   {
 498     List<Entry> entries = null;
 499     try
 500     {
 501       JAXBContext jc = JAXBContext
 502               .newInstance("jalview.xml.binding.uniprot");
 503       XMLStreamReader streamReader = XMLInputFactory.newInstance()
 504               .createXMLStreamReader(is);
 505       javax.xml.bind.Unmarshaller um = jc.createUnmarshaller();
 506       JAXBElement<jalview.xml.binding.uniprot.Uniprot> uniprotElement =
 507                   um.unmarshal(streamReader, jalview.xml.binding.uniprot.Uniprot.class);
 508       jalview.xml.binding.uniprot.Uniprot uniprot = uniprotElement.getValue();
 509
 510       if (uniprot != null && !uniprot.getEntry().isEmpty())
 511       {
 512         entries = uniprot.getEntry();
 513       }
 514     } catch (JAXBException | XMLStreamException
 515             | FactoryConfigurationError e)
 516     {
 517       e.printStackTrace();
 518     }
 519     return entries;
 520   }
 521 }