forester/java/src/org/forester/ws/seqdb/SequenceDbWsTools.java

   1 // $Id:
   2 // forester -- software libraries and applications
   3 // for genomics and evolutionary biology research.
   4 //
   5 // Copyright (C) 2010 Christian M Zmasek
   6 // Copyright (C) 2010 Sanford-Burnham Medical Research Institute
   7 // All rights reserved
   8 //
   9 // This library is free software; you can redistribute it and/or
  10 // modify it under the terms of the GNU Lesser General Public
  11 // License as published by the Free Software Foundation; either
  12 // version 2.1 of the License, or (at your option) any later version.
  13 //
  14 // This library is distributed in the hope that it will be useful,
  15 // but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  17 // Lesser General Public License for more details.
  18 //
  19 // You should have received a copy of the GNU Lesser General Public
  20 // License along with this library; if not, write to the Free Software
  21 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA
  22 //
  23 // Contact: phylosoft @ gmail . com
  24 // WWW: https://sites.google.com/site/cmzmasek/home/software/forester
  25
  26 package org.forester.ws.seqdb;
  27
  28 import java.io.BufferedReader;
  29 import java.io.IOException;
  30 import java.io.InputStreamReader;
  31 import java.io.UnsupportedEncodingException;
  32 import java.net.URL;
  33 import java.net.URLConnection;
  34 import java.net.URLEncoder;
  35 import java.util.ArrayList;
  36 import java.util.List;
  37 import java.util.SortedSet;
  38 import java.util.TreeSet;
  39
  40 import org.forester.go.GoTerm;
  41 import org.forester.io.parsers.phyloxml.PhyloXmlDataFormatException;
  42 import org.forester.phylogeny.Phylogeny;
  43 import org.forester.phylogeny.PhylogenyNode;
  44 import org.forester.phylogeny.data.Accession;
  45 import org.forester.phylogeny.data.Annotation;
  46 import org.forester.phylogeny.data.Identifier;
  47 import org.forester.phylogeny.data.Sequence;
  48 import org.forester.phylogeny.data.Taxonomy;
  49 import org.forester.phylogeny.iterators.PhylogenyNodeIterator;
  50 import org.forester.util.ForesterUtil;
  51 import org.forester.util.SequenceIdParser;
  52
  53 public final class SequenceDbWsTools {
  54
  55     public final static String   BASE_UNIPROT_URL  = "http://www.uniprot.org/";
  56     public final static String   BASE_EMBL_DB_URL  = "http://www.ebi.ac.uk/Tools/dbfetch/dbfetch/";
  57     public final static String   EMBL_DBS_EMBL     = "embl";
  58     public final static String   EMBL_DBS_REFSEQ_P = "refseqp";
  59     public final static String   EMBL_DBS_REFSEQ_N = "refseqn";
  60     private final static String  URL_ENC           = "UTF-8";
  61     private final static boolean DEBUG             = false;
  62
  63     private static List<UniProtTaxonomy> getTaxonomiesFromCommonName( final String cn, final int max_taxonomies_return )
  64             throws IOException {
  65         final List<String> result = getTaxonomyStringFromCommonName( cn, max_taxonomies_return );
  66         if ( result.size() > 0 ) {
  67             return parseUniProtTaxonomy( result );
  68         }
  69         return null;
  70     }
  71
  72     public static List<UniProtTaxonomy> getTaxonomiesFromCommonNameStrict( final String cn,
  73                                                                            final int max_taxonomies_return )
  74             throws IOException {
  75         final List<UniProtTaxonomy> taxonomies = getTaxonomiesFromCommonName( cn, max_taxonomies_return );
  76         if ( ( taxonomies != null ) && ( taxonomies.size() > 0 ) ) {
  77             final List<UniProtTaxonomy> filtered_taxonomies = new ArrayList<UniProtTaxonomy>();
  78             for( final UniProtTaxonomy taxonomy : taxonomies ) {
  79                 if ( taxonomy.getCommonName().equalsIgnoreCase( cn ) ) {
  80                     filtered_taxonomies.add( taxonomy );
  81                 }
  82             }
  83             return filtered_taxonomies;
  84         }
  85         return null;
  86     }
  87
  88     public static List<UniProtTaxonomy> getTaxonomiesFromId( final String id, final int max_taxonomies_return )
  89             throws IOException {
  90         final List<String> result = getTaxonomyStringFromId( id, max_taxonomies_return );
  91         if ( result.size() > 0 ) {
  92             return parseUniProtTaxonomy( result );
  93         }
  94         return null;
  95     }
  96
  97     private static List<UniProtTaxonomy> getTaxonomiesFromScientificName( final String sn,
  98                                                                           final int max_taxonomies_return )
  99             throws IOException {
 100         final List<String> result = getTaxonomyStringFromScientificName( sn, max_taxonomies_return );
 101         if ( result.size() > 0 ) {
 102             return parseUniProtTaxonomy( result );
 103         }
 104         return null;
 105     }
 106
 107     /**
 108      * Does not return "sub-types".
 109      * For example, for "Mus musculus" only returns "Mus musculus"
 110      * and not "Mus musculus", "Mus musculus bactrianus", ...
 111      *
 112      */
 113     public static List<UniProtTaxonomy> getTaxonomiesFromScientificNameStrict( final String sn,
 114                                                                                final int max_taxonomies_return )
 115             throws IOException {
 116         final List<UniProtTaxonomy> taxonomies = getTaxonomiesFromScientificName( sn, max_taxonomies_return );
 117         if ( ( taxonomies != null ) && ( taxonomies.size() > 0 ) ) {
 118             final List<UniProtTaxonomy> filtered_taxonomies = new ArrayList<UniProtTaxonomy>();
 119             for( final UniProtTaxonomy taxonomy : taxonomies ) {
 120                 if ( taxonomy.getScientificName().equalsIgnoreCase( sn ) ) {
 121                     filtered_taxonomies.add( taxonomy );
 122                 }
 123             }
 124             return filtered_taxonomies;
 125         }
 126         return null;
 127     }
 128
 129     public static List<UniProtTaxonomy> getTaxonomiesFromTaxonomyCode( final String code,
 130                                                                        final int max_taxonomies_return )
 131             throws IOException {
 132         final String my_code = new String( code );
 133         final List<String> result = getTaxonomyStringFromTaxonomyCode( my_code, max_taxonomies_return );
 134         if ( result.size() > 0 ) {
 135             return parseUniProtTaxonomy( result );
 136         }
 137         return null;
 138     }
 139
 140     public static SequenceDatabaseEntry obtainEmblEntry( final Identifier id, final int max_lines_to_return )
 141             throws IOException {
 142         final List<String> lines = queryEmblDb( id, max_lines_to_return );
 143         return EbiDbEntry.createInstanceFromPlainText( lines );
 144     }
 145
 146     public static SequenceDatabaseEntry obtainRefSeqEntryFromEmbl( final Identifier id, final int max_lines_to_return )
 147             throws IOException {
 148         final List<String> lines = queryEmblDb( id, max_lines_to_return );
 149         return EbiDbEntry.createInstanceFromPlainTextForRefSeq( lines );
 150     }
 151
 152     public static SortedSet<String> obtainSeqInformation( final Phylogeny phy,
 153                                                           final boolean ext_nodes_only,
 154                                                           final boolean allow_to_set_taxonomic_data,
 155                                                           final int lines_to_return ) throws IOException {
 156         final SortedSet<String> not_found = new TreeSet<String>();
 157         for( final PhylogenyNodeIterator iter = phy.iteratorPostorder(); iter.hasNext(); ) {
 158             final PhylogenyNode node = iter.next();
 159             if ( ext_nodes_only && node.isInternal() ) {
 160                 continue;
 161             }
 162             String query = null;
 163             Identifier id = null;
 164             Db db = Db.NONE;
 165             if ( node.getNodeData().isHasSequence() && ( node.getNodeData().getSequence().getAccession() != null )
 166                     && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getSource() )
 167                     && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getValue() )
 168                     && node.getNodeData().getSequence().getAccession().getValue().toLowerCase().startsWith( "uniprot" ) ) {
 169                 query = node.getNodeData().getSequence().getAccession().getValue();
 170                 db = Db.UNIPROT;
 171             }
 172             else if ( node.getNodeData().isHasSequence()
 173                     && ( node.getNodeData().getSequence().getAccession() != null )
 174                     && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getSource() )
 175                     && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getValue() )
 176                     && ( node.getNodeData().getSequence().getAccession().getValue().toLowerCase().startsWith( "embl" ) || node
 177                             .getNodeData().getSequence().getAccession().getValue().toLowerCase().startsWith( "ebi" ) ) ) {
 178                 query = node.getNodeData().getSequence().getAccession().getValue();
 179                 db = Db.EMBL;
 180             }
 181             else if ( !ForesterUtil.isEmpty( node.getName() ) ) {
 182                 if ( ( query = ForesterUtil.extractUniProtKbProteinSeqIdentifier( node ) ) != null ) {
 183                     db = Db.UNIPROT;
 184                 }
 185                 else if ( ( id = SequenceIdParser.parse( node.getName() ) ) != null ) {
 186                     if ( id.getProvider().equalsIgnoreCase( Identifier.NCBI ) ) {
 187                         db = Db.NCBI;
 188                     }
 189                     else if ( id.getProvider().equalsIgnoreCase( Identifier.REFSEQ ) ) {
 190                         db = Db.REFSEQ;
 191                     }
 192                 }
 193             }
 194             if ( db == Db.NONE ) {
 195                 not_found.add( node.getName() );
 196             }
 197             SequenceDatabaseEntry db_entry = null;
 198             if ( !ForesterUtil.isEmpty( query ) ) {
 199                 if ( db == Db.UNIPROT ) {
 200                     if ( DEBUG ) {
 201                         System.out.println( "uniprot: " + query );
 202                     }
 203                     db_entry = obtainUniProtEntry( query, lines_to_return );
 204                 }
 205                 if ( ( db == Db.EMBL ) || ( ( db == Db.UNIPROT ) && ( db_entry == null ) ) ) {
 206                     if ( DEBUG ) {
 207                         System.out.println( "embl: " + query );
 208                     }
 209                     db_entry = obtainEmblEntry( new Identifier( query ), lines_to_return );
 210                     if ( ( db == Db.UNIPROT ) && ( db_entry != null ) ) {
 211                         db = Db.EMBL;
 212                     }
 213                 }
 214             }
 215             else if ( ( db == Db.REFSEQ ) && ( id != null ) ) {
 216                 db_entry = obtainRefSeqEntryFromEmbl( id, lines_to_return );
 217             }
 218             else if ( ( db == Db.NCBI ) && ( id != null ) ) {
 219                 db_entry = obtainEmblEntry( id, lines_to_return ); //TODO ?
 220             }
 221             if ( ( db_entry != null ) && !db_entry.isEmpty() ) {
 222                 final Sequence seq = node.getNodeData().isHasSequence() ? node.getNodeData().getSequence()
 223                         : new Sequence();
 224                 if ( !ForesterUtil.isEmpty( db_entry.getAccession() ) ) {
 225                     String type = null;
 226                     if ( db == Db.EMBL ) {
 227                         type = "embl";
 228                     }
 229                     else if ( db == Db.UNIPROT ) {
 230                         type = "uniprot";
 231                     }
 232                     else if ( db == Db.NCBI ) {
 233                         type = "ncbi";
 234                     }
 235                     else if ( db == Db.REFSEQ ) {
 236                         type = "refseq";
 237                     }
 238                     seq.setAccession( new Accession( db_entry.getAccession(), type ) );
 239                 }
 240                 if ( !ForesterUtil.isEmpty( db_entry.getSequenceName() ) ) {
 241                     seq.setName( db_entry.getSequenceName() );
 242                 }
 243                 if ( !ForesterUtil.isEmpty( db_entry.getGeneName() ) ) {
 244                     seq.setGeneName( db_entry.getGeneName() );
 245                 }
 246                 if ( !ForesterUtil.isEmpty( db_entry.getSequenceSymbol() ) ) {
 247                     try {
 248                         seq.setSymbol( db_entry.getSequenceSymbol() );
 249                     }
 250                     catch ( final PhyloXmlDataFormatException e ) {
 251                         // Eat this exception.
 252                     }
 253                 }
 254                 if ( ( db_entry.getGoTerms() != null ) && !db_entry.getGoTerms().isEmpty() ) {
 255                     for( final GoTerm go : db_entry.getGoTerms() ) {
 256                         final Annotation ann = new Annotation( go.getGoId().getId() );
 257                         ann.setDesc( go.getName() );
 258                         seq.addAnnotation( ann );
 259                     }
 260                 }
 261                 if ( ( db_entry.getCrossReferences() != null ) && !db_entry.getCrossReferences().isEmpty() ) {
 262                     for( final Accession x : db_entry.getCrossReferences() ) {
 263                         seq.addCrossReference( x );
 264                     }
 265                 }
 266                 final Taxonomy tax = node.getNodeData().isHasTaxonomy() ? node.getNodeData().getTaxonomy()
 267                         : new Taxonomy();
 268                 if ( !ForesterUtil.isEmpty( db_entry.getTaxonomyScientificName() ) ) {
 269                     tax.setScientificName( db_entry.getTaxonomyScientificName() );
 270                 }
 271                 if ( allow_to_set_taxonomic_data && !ForesterUtil.isEmpty( db_entry.getTaxonomyIdentifier() ) ) {
 272                     tax.setIdentifier( new Identifier( db_entry.getTaxonomyIdentifier(), "uniprot" ) );
 273                 }
 274                 node.getNodeData().setTaxonomy( tax );
 275                 node.getNodeData().setSequence( seq );
 276             }
 277             else if ( db != Db.NONE ) {
 278                 not_found.add( node.getName() );
 279             }
 280             try {
 281                 Thread.sleep( 10 );// Sleep for 10 ms
 282             }
 283             catch ( final InterruptedException ie ) {
 284             }
 285         }
 286         return not_found;
 287     }
 288
 289     public static SequenceDatabaseEntry obtainUniProtEntry( final String query, final int max_lines_to_return )
 290             throws IOException {
 291         final List<String> lines = queryUniprot( "uniprot/" + query + ".txt", max_lines_to_return );
 292         return UniProtEntry.createInstanceFromPlainText( lines );
 293     }
 294
 295     public static List<String> queryDb( final String query, int max_lines_to_return, final String base_url )
 296             throws IOException {
 297         if ( ForesterUtil.isEmpty( query ) ) {
 298             throw new IllegalArgumentException( "illegal attempt to use empty query " );
 299         }
 300         if ( max_lines_to_return < 1 ) {
 301             max_lines_to_return = 1;
 302         }
 303         final URL url = new URL( base_url + query );
 304         if ( DEBUG ) {
 305             System.out.println( "url: " + url.toString() );
 306         }
 307         final URLConnection urlc = url.openConnection();
 308         final BufferedReader in = new BufferedReader( new InputStreamReader( urlc.getInputStream() ) );
 309         String line;
 310         final List<String> result = new ArrayList<String>();
 311         while ( ( line = in.readLine() ) != null ) {
 312             if ( DEBUG ) {
 313                 System.out.println( line );
 314             }
 315             result.add( line );
 316             if ( result.size() > max_lines_to_return ) {
 317                 break;
 318             }
 319         }
 320         in.close();
 321         try {
 322             // To prevent accessing online dbs in too quick succession.
 323             Thread.sleep( 20 );
 324         }
 325         catch ( final InterruptedException e ) {
 326             e.printStackTrace();
 327         }
 328         return result;
 329     }
 330
 331     public static List<String> queryEmblDb( final Identifier id, final int max_lines_to_return ) throws IOException {
 332         final StringBuilder url_sb = new StringBuilder();
 333         url_sb.append( BASE_EMBL_DB_URL );
 334         if ( ForesterUtil.isEmpty( id.getProvider() ) || id.getProvider().equalsIgnoreCase( Identifier.NCBI ) ) {
 335             url_sb.append( SequenceDbWsTools.EMBL_DBS_EMBL );
 336             url_sb.append( '/' );
 337         }
 338         else if ( id.getProvider().equalsIgnoreCase( Identifier.REFSEQ ) ) {
 339             if ( id.getValue().toUpperCase().indexOf( 'P' ) == 1 ) {
 340                 url_sb.append( SequenceDbWsTools.EMBL_DBS_REFSEQ_P );
 341                 url_sb.append( '/' );
 342             }
 343             else {
 344                 url_sb.append( SequenceDbWsTools.EMBL_DBS_REFSEQ_N );
 345                 url_sb.append( '/' );
 346             }
 347         }
 348         return queryDb( id.getValue(), max_lines_to_return, url_sb.toString() );
 349     }
 350
 351     public static List<String> queryUniprot( final String query, final int max_lines_to_return ) throws IOException {
 352         return queryDb( query, max_lines_to_return, BASE_UNIPROT_URL );
 353     }
 354
 355     private static String encode( final String str ) throws UnsupportedEncodingException {
 356         return URLEncoder.encode( str.trim(), URL_ENC );
 357     }
 358
 359     private static List<String> getTaxonomyStringFromCommonName( final String cn, final int max_lines_to_return )
 360             throws IOException {
 361         return queryUniprot( "taxonomy/?query=common%3a%22" + encode( cn ) + "%22&format=tab", max_lines_to_return );
 362     }
 363
 364     private static List<String> getTaxonomyStringFromId( final String id, final int max_lines_to_return )
 365             throws IOException {
 366         return queryUniprot( "taxonomy/?query=id%3a%22" + encode( id ) + "%22&format=tab", max_lines_to_return );
 367     }
 368
 369     private static List<String> getTaxonomyStringFromScientificName( final String sn, final int max_lines_to_return )
 370             throws IOException {
 371         return queryUniprot( "taxonomy/?query=scientific%3a%22" + encode( sn ) + "%22&format=tab", max_lines_to_return );
 372     }
 373
 374     private static List<String> getTaxonomyStringFromTaxonomyCode( final String code, final int max_lines_to_return )
 375             throws IOException {
 376         return queryUniprot( "taxonomy/?query=mnemonic%3a%22" + encode( code ) + "%22&format=tab", max_lines_to_return );
 377     }
 378
 379     private static List<UniProtTaxonomy> parseUniProtTaxonomy( final List<String> result ) throws IOException {
 380         final List<UniProtTaxonomy> taxonomies = new ArrayList<UniProtTaxonomy>();
 381         for( final String line : result ) {
 382             if ( ForesterUtil.isEmpty( line ) ) {
 383                 // Ignore empty lines.
 384             }
 385             else if ( line.startsWith( "Taxon" ) ) {
 386                 final String[] items = line.split( "\t" );
 387                 if ( !( items[ 1 ].equalsIgnoreCase( "Mnemonic" ) && items[ 2 ].equalsIgnoreCase( "Scientific name" )
 388                         && items[ 3 ].equalsIgnoreCase( "Common name" ) && items[ 4 ].equalsIgnoreCase( "Synonym" )
 389                         && items[ 5 ].equalsIgnoreCase( "Other Names" ) && items[ 6 ].equalsIgnoreCase( "Reviewed" )
 390                         && items[ 7 ].equalsIgnoreCase( "Rank" ) && items[ 8 ].equalsIgnoreCase( "Lineage" ) ) ) {
 391                     throw new IOException( "Unreconized UniProt Taxonomy format: " + line );
 392                 }
 393             }
 394             else {
 395                 if ( line.split( "\t" ).length > 4 ) {
 396                     taxonomies.add( new UniProtTaxonomy( line ) );
 397                 }
 398             }
 399         }
 400         return taxonomies;
 401     }
 402
 403     public enum Db {
 404         UNIPROT, EMBL, NCBI, NONE, REFSEQ;
 405     }
 406 }