forester/java/src/org/forester/ws/seqdb/SequenceDbWsTools.java

   1 // $Id:
   2 // forester -- software libraries and applications
   3 // for genomics and evolutionary biology research.
   4 //
   5 // Copyright (C) 2010 Christian M Zmasek
   6 // Copyright (C) 2010 Sanford-Burnham Medical Research Institute
   7 // All rights reserved
   8 //
   9 // This library is free software; you can redistribute it and/or
  10 // modify it under the terms of the GNU Lesser General Public
  11 // License as published by the Free Software Foundation; either
  12 // version 2.1 of the License, or (at your option) any later version.
  13 //
  14 // This library is distributed in the hope that it will be useful,
  15 // but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  17 // Lesser General Public License for more details.
  18 //
  19 // You should have received a copy of the GNU Lesser General Public
  20 // License along with this library; if not, write to the Free Software
  21 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA
  22 //
  23 // Contact: phylosoft @ gmail . com
  24 // WWW: https://sites.google.com/site/cmzmasek/home/software/forester
  25
  26 package org.forester.ws.seqdb;
  27
  28 import java.io.BufferedReader;
  29 import java.io.IOException;
  30 import java.io.InputStreamReader;
  31 import java.io.UnsupportedEncodingException;
  32 import java.net.URL;
  33 import java.net.URLConnection;
  34 import java.net.URLEncoder;
  35 import java.util.ArrayList;
  36 import java.util.List;
  37 import java.util.SortedSet;
  38 import java.util.TreeSet;
  39
  40 import org.forester.go.GoTerm;
  41 import org.forester.io.parsers.phyloxml.PhyloXmlDataFormatException;
  42 import org.forester.phylogeny.Phylogeny;
  43 import org.forester.phylogeny.PhylogenyNode;
  44 import org.forester.phylogeny.data.Accession;
  45 import org.forester.phylogeny.data.Annotation;
  46 import org.forester.phylogeny.data.Identifier;
  47 import org.forester.phylogeny.data.Sequence;
  48 import org.forester.phylogeny.data.Taxonomy;
  49 import org.forester.phylogeny.iterators.PhylogenyNodeIterator;
  50 import org.forester.util.ForesterUtil;
  51 import org.forester.util.SequenceAccessionTools;
  52
  53 public final class SequenceDbWsTools {
  54
  55     public final static String   BASE_UNIPROT_URL  = "http://www.uniprot.org/";
  56     public final static String   BASE_EMBL_DB_URL  = "http://www.ebi.ac.uk/Tools/dbfetch/dbfetch/";
  57     public final static String   EMBL_DBS_EMBL     = "embl";
  58     public final static String   EMBL_DBS_REFSEQ_P = "refseqp";
  59     public final static String   EMBL_DBS_REFSEQ_N = "refseqn";
  60     private final static String  URL_ENC           = "UTF-8";
  61     private final static boolean DEBUG             = false;
  62
  63     private static List<UniProtTaxonomy> getTaxonomiesFromCommonName( final String cn, final int max_taxonomies_return )
  64             throws IOException {
  65         final List<String> result = getTaxonomyStringFromCommonName( cn, max_taxonomies_return );
  66         if ( result.size() > 0 ) {
  67             return parseUniProtTaxonomy( result );
  68         }
  69         return null;
  70     }
  71
  72     public static List<UniProtTaxonomy> getTaxonomiesFromCommonNameStrict( final String cn,
  73                                                                            final int max_taxonomies_return )
  74             throws IOException {
  75         final List<UniProtTaxonomy> taxonomies = getTaxonomiesFromCommonName( cn, max_taxonomies_return );
  76         if ( ( taxonomies != null ) && ( taxonomies.size() > 0 ) ) {
  77             final List<UniProtTaxonomy> filtered_taxonomies = new ArrayList<UniProtTaxonomy>();
  78             for( final UniProtTaxonomy taxonomy : taxonomies ) {
  79                 if ( taxonomy.getCommonName().equalsIgnoreCase( cn ) ) {
  80                     filtered_taxonomies.add( taxonomy );
  81                 }
  82             }
  83             return filtered_taxonomies;
  84         }
  85         return null;
  86     }
  87
  88     public static List<UniProtTaxonomy> getTaxonomiesFromId( final String id, final int max_taxonomies_return )
  89             throws IOException {
  90         final List<String> result = getTaxonomyStringFromId( id, max_taxonomies_return );
  91         if ( result.size() > 0 ) {
  92             return parseUniProtTaxonomy( result );
  93         }
  94         return null;
  95     }
  96
  97     private static List<UniProtTaxonomy> getTaxonomiesFromScientificName( final String sn,
  98                                                                           final int max_taxonomies_return )
  99             throws IOException {
 100         final List<String> result = getTaxonomyStringFromScientificName( sn, max_taxonomies_return );
 101         if ( result.size() > 0 ) {
 102             return parseUniProtTaxonomy( result );
 103         }
 104         return null;
 105     }
 106
 107     /**
 108      * Does not return "sub-types".
 109      * For example, for "Mus musculus" only returns "Mus musculus"
 110      * and not "Mus musculus", "Mus musculus bactrianus", ...
 111      *
 112      */
 113     public static List<UniProtTaxonomy> getTaxonomiesFromScientificNameStrict( final String sn,
 114                                                                                final int max_taxonomies_return )
 115             throws IOException {
 116         final List<UniProtTaxonomy> taxonomies = getTaxonomiesFromScientificName( sn, max_taxonomies_return );
 117         if ( ( taxonomies != null ) && ( taxonomies.size() > 0 ) ) {
 118             final List<UniProtTaxonomy> filtered_taxonomies = new ArrayList<UniProtTaxonomy>();
 119             for( final UniProtTaxonomy taxonomy : taxonomies ) {
 120                 if ( taxonomy.getScientificName().equalsIgnoreCase( sn ) ) {
 121                     filtered_taxonomies.add( taxonomy );
 122                 }
 123             }
 124             return filtered_taxonomies;
 125         }
 126         return null;
 127     }
 128
 129     public static List<UniProtTaxonomy> getTaxonomiesFromTaxonomyCode( final String code,
 130                                                                        final int max_taxonomies_return )
 131             throws IOException {
 132         final String my_code = new String( code );
 133         final List<String> result = getTaxonomyStringFromTaxonomyCode( my_code, max_taxonomies_return );
 134         if ( result.size() > 0 ) {
 135             return parseUniProtTaxonomy( result );
 136         }
 137         return null;
 138     }
 139
 140     public static SequenceDatabaseEntry obtainEmblEntry( final Accession id, final int max_lines_to_return )
 141             throws IOException {
 142         final List<String> lines = queryEmblDb( id, max_lines_to_return );
 143         return EbiDbEntry.createInstanceFromPlainText( lines );
 144     }
 145
 146     public static SequenceDatabaseEntry obtainRefSeqEntryFromEmbl( final Accession id, final int max_lines_to_return )
 147             throws IOException {
 148         final List<String> lines = queryEmblDb( id, max_lines_to_return );
 149         return EbiDbEntry.createInstanceFromPlainTextForRefSeq( lines );
 150     }
 151
 152     public static SortedSet<String> obtainSeqInformation( final Phylogeny phy,
 153                                                           final boolean ext_nodes_only,
 154                                                           final boolean allow_to_set_taxonomic_data,
 155                                                           final int lines_to_return ) throws IOException {
 156         final SortedSet<String> not_found = new TreeSet<String>();
 157         for( final PhylogenyNodeIterator iter = phy.iteratorPostorder(); iter.hasNext(); ) {
 158             final PhylogenyNode node = iter.next();
 159             if ( ext_nodes_only && node.isInternal() ) {
 160                 continue;
 161             }
 162             //            String query = null;
 163             //            Accession id = null;
 164             //            Accession acc = SequenceAccessionTools.obtain( node );
 165             //
 166             //
 167             //            Db db = Db.NONE;
 168             //            if ( node.getNodeData().isHasSequence()
 169             //                    && ( node.getNodeData().getSequence().getAccession() != null )
 170             //                    && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getSource() )
 171             //                    && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getValue() )
 172             //                    && ( node.getNodeData().getSequence().getAccession().getValue().toLowerCase()
 173             //                            .startsWith( "uniprot" )
 174             //                            || node.getNodeData().getSequence().getAccession().getValue()
 175             //                                    .equalsIgnoreCase( "swissprot" )
 176             //                            || node.getNodeData().getSequence().getAccession().getValue().equalsIgnoreCase( "trembl" ) || node
 177             //                            .getNodeData().getSequence().getAccession().getValue().equalsIgnoreCase( "sp" ) ) ) {
 178             //                query = node.getNodeData().getSequence().getAccession().getValue();
 179             //                db = Db.UNIPROT;
 180             //            }
 181             //            else if ( node.getNodeData().isHasSequence()
 182             //                    && ( node.getNodeData().getSequence().getAccession() != null )
 183             //                    && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getSource() )
 184             //                    && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getValue() )
 185             //                    && ( node.getNodeData().getSequence().getAccession().getValue().equalsIgnoreCase( "embl" ) || node
 186             //                            .getNodeData().getSequence().getAccession().getValue().equalsIgnoreCase( "ebi" ) ) ) {
 187             //                query = node.getNodeData().getSequence().getAccession().getValue();
 188             //                db = Db.EMBL;
 189             //            }
 190             //            else if ( node.getNodeData().isHasSequence()
 191             //                    && ( node.getNodeData().getSequence().getAccession() != null )
 192             //                    && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getSource() )
 193             //                    && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getValue() )
 194             //                    && ( node.getNodeData().getSequence().getAccession().getValue().equalsIgnoreCase( "ncbi" ) || node
 195             //                            .getNodeData().getSequence().getAccession().getValue().equalsIgnoreCase( "genbank" ) ) ) {
 196             //                query = node.getNodeData().getSequence().getAccession().getValue();
 197             //                // db = Db.NCBI;
 198             //            }
 199             //            else if ( node.getNodeData().isHasSequence() && ( node.getNodeData().getSequence().getAccession() != null )
 200             //                    && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getSource() )
 201             //                    && !ForesterUtil.isEmpty( node.getNodeData().getSequence().getAccession().getValue() )
 202             //                    && node.getNodeData().getSequence().getAccession().getValue().equalsIgnoreCase( "refseq" ) ) {
 203             //                query = node.getNodeData().getSequence().getAccession().getValue();
 204             //                db = Db.REFSEQ;
 205             //            }
 206             //            else {
 207             Accession acc = SequenceAccessionTools.obtainFromSeqAccession( node );
 208             //                if ( ( query = SequenceAccessionTools.extractUniProtKbProteinSeqIdentifier( node ) ) != null ) {
 209             //                    db = Db.UNIPROT;
 210             //                }
 211             //                else if ( node.getNodeData().isHasSequence() ) {
 212             //                    if ( ( id = SequenceAccessionTools.parse( node.getName() ) ) != null ) {
 213             //                        if ( id.getSource() == Accession.NCBI ) {
 214             //                            //  db = Db.NCBI;
 215             //                        }
 216             //                        else if ( id.getSource() == Accession.REFSEQ ) {
 217             //                            db = Db.REFSEQ;
 218             //                        }
 219             //                    }
 220             //                    else if ( ( id = SequenceAccessionTools.parse( node.getNodeData().getSequence().getName() ) ) != null ) {
 221             //                        if ( id.getSource() == Accession.NCBI ) {
 222             //                            // = Db.NCBI;
 223             //                        }
 224             //                        else if ( id.getSource() == Accession.REFSEQ ) {
 225             //                            db = Db.REFSEQ;
 226             //                        }
 227             //                    }
 228             //                    else if ( ( id = SequenceAccessionTools.parse( node.getNodeData().getSequence().getGeneName() ) ) != null ) {
 229             //                        if ( id.getSource() == Accession.NCBI ) {
 230             //                            // db = Db.NCBI;
 231             //                        }
 232             //                        else if ( id.getSource() == Accession.REFSEQ ) {
 233             //                            db = Db.REFSEQ;
 234             //                        }
 235             //                    }
 236             //                    else if ( ( id = SequenceAccessionTools.parse( node.getNodeData().getSequence().getSymbol() ) ) != null ) {
 237             //                        if ( id.getSource() == Accession.NCBI ) {
 238             //                            // db = Db.NCBI;
 239             //                        }
 240             //                        else if ( id.getSource() == Accession.REFSEQ ) {
 241             //                            db = Db.REFSEQ;
 242             //                        }
 243             //                    }
 244             //                }
 245             // }
 246             if ( ( acc == null )
 247                     || ForesterUtil.isEmpty( acc.getSource() )
 248                     || ForesterUtil.isEmpty( acc.getValue() )
 249                     || ( ( acc.getSource() != Accession.UNIPROT ) && ( acc.getSource() != Accession.EMBL ) && ( acc
 250                             .getSource() != Accession.REFSEQ ) ) ) {
 251                 acc = SequenceAccessionTools.parse( node );
 252             }
 253             if ( ( acc == null )
 254                     || ForesterUtil.isEmpty( acc.getSource() )
 255                     || ForesterUtil.isEmpty( acc.getValue() )
 256                     || ( ( acc.getSource() != Accession.UNIPROT ) && ( acc.getSource() != Accession.EMBL ) && ( acc
 257                             .getSource() != Accession.REFSEQ ) ) ) {
 258                 not_found.add( node.toString() );
 259             }
 260             else {
 261                 SequenceDatabaseEntry db_entry = null;
 262                 final String query = acc.getValue();
 263                 if ( acc.getSource() == Accession.UNIPROT ) {
 264                     if ( DEBUG ) {
 265                         System.out.println( "uniprot: " + query );
 266                     }
 267                     db_entry = obtainUniProtEntry( query, lines_to_return );
 268                 }
 269                 else if ( acc.getSource() == Accession.EMBL ) {
 270                     if ( DEBUG ) {
 271                         System.out.println( "embl: " + query );
 272                     }
 273                     db_entry = obtainEmblEntry( new Accession( query ), lines_to_return );
 274                 }
 275                 else if ( acc.getSource() == Accession.REFSEQ ) {
 276                     if ( DEBUG ) {
 277                         System.out.println( "refseq: " + query );
 278                     }
 279                     db_entry = obtainRefSeqEntryFromEmbl( new Accession( query ), lines_to_return );
 280                 }
 281                 if ( ( db_entry != null ) && !db_entry.isEmpty() ) {
 282                     final Sequence seq = node.getNodeData().isHasSequence() ? node.getNodeData().getSequence()
 283                             : new Sequence();
 284                     if ( !ForesterUtil.isEmpty( db_entry.getAccession() ) ) {
 285                         seq.setAccession( new Accession( db_entry.getAccession(), acc.getSource() ) );
 286                     }
 287                     if ( !ForesterUtil.isEmpty( db_entry.getSequenceName() ) ) {
 288                         seq.setName( db_entry.getSequenceName() );
 289                     }
 290                     if ( !ForesterUtil.isEmpty( db_entry.getGeneName() ) ) {
 291                         seq.setGeneName( db_entry.getGeneName() );
 292                     }
 293                     if ( !ForesterUtil.isEmpty( db_entry.getSequenceSymbol() ) ) {
 294                         try {
 295                             seq.setSymbol( db_entry.getSequenceSymbol() );
 296                         }
 297                         catch ( final PhyloXmlDataFormatException e ) {
 298                             // Eat this exception.
 299                         }
 300                     }
 301                     if ( ( db_entry.getGoTerms() != null ) && !db_entry.getGoTerms().isEmpty() ) {
 302                         for( final GoTerm go : db_entry.getGoTerms() ) {
 303                             final Annotation ann = new Annotation( go.getGoId().getId() );
 304                             ann.setDesc( go.getName() );
 305                             seq.addAnnotation( ann );
 306                         }
 307                     }
 308                     if ( ( db_entry.getCrossReferences() != null ) && !db_entry.getCrossReferences().isEmpty() ) {
 309                         for( final Accession x : db_entry.getCrossReferences() ) {
 310                             seq.addCrossReference( x );
 311                         }
 312                     }
 313                     final Taxonomy tax = node.getNodeData().isHasTaxonomy() ? node.getNodeData().getTaxonomy()
 314                             : new Taxonomy();
 315                     if ( !ForesterUtil.isEmpty( db_entry.getTaxonomyScientificName() ) ) {
 316                         tax.setScientificName( db_entry.getTaxonomyScientificName() );
 317                     }
 318                     if ( allow_to_set_taxonomic_data && !ForesterUtil.isEmpty( db_entry.getTaxonomyIdentifier() ) ) {
 319                         tax.setIdentifier( new Identifier( db_entry.getTaxonomyIdentifier(), "uniprot" ) );
 320                     }
 321                     node.getNodeData().setTaxonomy( tax );
 322                     node.getNodeData().setSequence( seq );
 323                 }
 324                 else {
 325                     not_found.add( node.getName() );
 326                 }
 327                 try {
 328                     Thread.sleep( 10 );// Sleep for 10 ms
 329                 }
 330                 catch ( final InterruptedException ie ) {
 331                 }
 332             }
 333         }
 334         return not_found;
 335     }
 336
 337     public static SequenceDatabaseEntry obtainUniProtEntry( final String query, final int max_lines_to_return )
 338             throws IOException {
 339         final List<String> lines = queryUniprot( "uniprot/" + query + ".txt", max_lines_to_return );
 340         return UniProtEntry.createInstanceFromPlainText( lines );
 341     }
 342
 343     public static List<String> queryDb( final String query, int max_lines_to_return, final String base_url )
 344             throws IOException {
 345         if ( ForesterUtil.isEmpty( query ) ) {
 346             throw new IllegalArgumentException( "illegal attempt to use empty query " );
 347         }
 348         if ( max_lines_to_return < 1 ) {
 349             max_lines_to_return = 1;
 350         }
 351         final URL url = new URL( base_url + query );
 352         if ( DEBUG ) {
 353             System.out.println( "url: " + url.toString() );
 354         }
 355         final URLConnection urlc = url.openConnection();
 356         final BufferedReader in = new BufferedReader( new InputStreamReader( urlc.getInputStream() ) );
 357         String line;
 358         final List<String> result = new ArrayList<String>();
 359         while ( ( line = in.readLine() ) != null ) {
 360             if ( DEBUG ) {
 361                 System.out.println( line );
 362             }
 363             result.add( line );
 364             if ( result.size() > max_lines_to_return ) {
 365                 break;
 366             }
 367         }
 368         in.close();
 369         try {
 370             // To prevent accessing online dbs in too quick succession.
 371             Thread.sleep( 20 );
 372         }
 373         catch ( final InterruptedException e ) {
 374             e.printStackTrace();
 375         }
 376         return result;
 377     }
 378
 379     public static List<String> queryEmblDb( final Accession id, final int max_lines_to_return ) throws IOException {
 380         final StringBuilder url_sb = new StringBuilder();
 381         url_sb.append( BASE_EMBL_DB_URL );
 382         if ( ForesterUtil.isEmpty( id.getSource() ) || ( id.getSource() == Accession.NCBI ) ) {
 383             url_sb.append( SequenceDbWsTools.EMBL_DBS_EMBL );
 384             url_sb.append( '/' );
 385         }
 386         else if ( id.getSource() == Accession.REFSEQ ) {
 387             if ( id.getValue().toUpperCase().indexOf( 'P' ) == 1 ) {
 388                 url_sb.append( SequenceDbWsTools.EMBL_DBS_REFSEQ_P );
 389                 url_sb.append( '/' );
 390             }
 391             else {
 392                 url_sb.append( SequenceDbWsTools.EMBL_DBS_REFSEQ_N );
 393                 url_sb.append( '/' );
 394             }
 395         }
 396         return queryDb( id.getValue(), max_lines_to_return, url_sb.toString() );
 397     }
 398
 399     public static List<String> queryUniprot( final String query, final int max_lines_to_return ) throws IOException {
 400         return queryDb( query, max_lines_to_return, BASE_UNIPROT_URL );
 401     }
 402
 403     private static String encode( final String str ) throws UnsupportedEncodingException {
 404         return URLEncoder.encode( str.trim(), URL_ENC );
 405     }
 406
 407     private static List<String> getTaxonomyStringFromCommonName( final String cn, final int max_lines_to_return )
 408             throws IOException {
 409         return queryUniprot( "taxonomy/?query=common%3a%22" + encode( cn ) + "%22&format=tab", max_lines_to_return );
 410     }
 411
 412     private static List<String> getTaxonomyStringFromId( final String id, final int max_lines_to_return )
 413             throws IOException {
 414         return queryUniprot( "taxonomy/?query=id%3a%22" + encode( id ) + "%22&format=tab", max_lines_to_return );
 415     }
 416
 417     private static List<String> getTaxonomyStringFromScientificName( final String sn, final int max_lines_to_return )
 418             throws IOException {
 419         return queryUniprot( "taxonomy/?query=scientific%3a%22" + encode( sn ) + "%22&format=tab", max_lines_to_return );
 420     }
 421
 422     private static List<String> getTaxonomyStringFromTaxonomyCode( final String code, final int max_lines_to_return )
 423             throws IOException {
 424         return queryUniprot( "taxonomy/?query=mnemonic%3a%22" + encode( code ) + "%22&format=tab", max_lines_to_return );
 425     }
 426
 427     private static List<UniProtTaxonomy> parseUniProtTaxonomy( final List<String> result ) throws IOException {
 428         final List<UniProtTaxonomy> taxonomies = new ArrayList<UniProtTaxonomy>();
 429         for( final String line : result ) {
 430             if ( ForesterUtil.isEmpty( line ) ) {
 431                 // Ignore empty lines.
 432             }
 433             else if ( line.startsWith( "Taxon" ) ) {
 434                 final String[] items = line.split( "\t" );
 435                 if ( !( items[ 1 ].equalsIgnoreCase( "Mnemonic" ) && items[ 2 ].equalsIgnoreCase( "Scientific name" )
 436                         && items[ 3 ].equalsIgnoreCase( "Common name" ) && items[ 4 ].equalsIgnoreCase( "Synonym" )
 437                         && items[ 5 ].equalsIgnoreCase( "Other Names" ) && items[ 6 ].equalsIgnoreCase( "Reviewed" )
 438                         && items[ 7 ].equalsIgnoreCase( "Rank" ) && items[ 8 ].equalsIgnoreCase( "Lineage" ) ) ) {
 439                     throw new IOException( "Unreconized UniProt Taxonomy format: " + line );
 440                 }
 441             }
 442             else {
 443                 if ( line.split( "\t" ).length > 4 ) {
 444                     taxonomies.add( new UniProtTaxonomy( line ) );
 445                 }
 446             }
 447         }
 448         return taxonomies;
 449     }
 450 }