src/jalview/io/IdentifyFile.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.io;
  22
  23 import java.io.IOException;
  24
  25 /**
  26  * DOCUMENT ME!
  27  *
  28  * @author $author$
  29  * @version $Revision$
  30  */
  31 public class IdentifyFile
  32 {
  33   /**
  34    * Identify a datasource's file content.
  35    *
  36    * @note Do not use this method for stream sources - create a FileParse object
  37    *       instead.
  38    *
  39    * @param file
  40    * @param sourceType
  41    * @return
  42    * @throws FileFormatException
  43    */
  44   public FileFormatI identify(String file, DataSourceType sourceType)
  45           throws FileFormatException
  46   {
  47     String emessage = "UNIDENTIFIED FILE PARSING ERROR";
  48     FileParse parser = null;
  49     try
  50     {
  51       parser = new FileParse(file, sourceType);
  52       if (parser.isValid())
  53       {
  54         return identify(parser);
  55       }
  56     } catch (Exception e)
  57     {
  58       System.err.println("Error whilst identifying");
  59       e.printStackTrace(System.err);
  60       emessage = e.getMessage();
  61     }
  62     if (parser != null)
  63     {
  64       throw new FileFormatException(parser.errormessage);
  65     }
  66     throw new FileFormatException(emessage);
  67   }
  68
  69   public FileFormatI identify(FileParse source) throws FileFormatException
  70   {
  71     return identify(source, true);
  72     // preserves original behaviour prior to version 2.3
  73   }
  74
  75   public FileFormatI identify(AlignmentFileReaderI file,
  76           boolean closeSource) throws IOException
  77   {
  78     FileParse fp = new FileParse(file.getInFile(),
  79             file.getDataSourceType());
  80     return identify(fp, closeSource);
  81   }
  82
  83   /**
  84    * Identify contents of source, closing it or resetting source to start
  85    * afterwards.
  86    *
  87    * @param source
  88    * @param closeSource
  89    * @return (best guess at) file format
  90    * @throws FileFormatException
  91    */
  92   public FileFormatI identify(FileParse source, boolean closeSource)
  93           throws FileFormatException
  94   {
  95     FileFormatI reply = FileFormat.Pfam;
  96     String data;
  97     int bytesRead = 0;
  98     int trimmedLength = 0;
  99     boolean lineswereskipped = false;
 100     boolean isBinary = false; // true if length is non-zero and non-printable
 101     // characters are encountered
 102
 103     try
 104     {
 105       if (!closeSource)
 106       {
 107         source.mark();
 108       }
 109       boolean aaIndexHeaderRead = false;
 110
 111       while ((data = source.nextLine()) != null)
 112       {
 113         bytesRead += data.length();
 114         trimmedLength += data.trim().length();
 115         if (!lineswereskipped)
 116         {
 117           for (int i = 0; !isBinary && i < data.length(); i++)
 118           {
 119             char c = data.charAt(i);
 120             isBinary = (c < 32 && c != '\t' && c != '\n' && c != '\r'
 121                     && c != 5 && c != 27); // nominal binary character filter
 122             // excluding CR, LF, tab,DEL and ^E
 123             // for certain blast ids
 124           }
 125         }
 126         if (isBinary)
 127         {
 128           // jar files are special - since they contain all sorts of random
 129           // characters.
 130           if (source.inFile != null)
 131           {
 132             String fileStr = source.inFile.getName();
 133             // possibly a Jalview archive.
 134             if (fileStr.lastIndexOf(".jar") > -1
 135                     || fileStr.lastIndexOf(".zip") > -1)
 136             {
 137               reply = FileFormat.Jalview;
 138             }
 139           }
 140           if (!lineswereskipped && data.startsWith("PK"))
 141           {
 142             reply = FileFormat.Jalview; // archive.
 143             break;
 144           }
 145         }
 146         data = data.toUpperCase();
 147
 148         if (data.startsWith(ScoreMatrixFile.SCOREMATRIX))
 149         {
 150           reply = FileFormat.ScoreMatrix;
 151           break;
 152         }
 153         if (data.startsWith("LOCUS"))
 154         {
 155           reply = FileFormat.GenBank;
 156           break;
 157         }
 158         if (data.startsWith("ID "))
 159         {
 160           if (data.substring(2).trim().split(";").length == 7)
 161           {
 162             reply = FileFormat.Embl;
 163             break;
 164           }
 165         }
 166         if (data.startsWith("H ") && !aaIndexHeaderRead)
 167         {
 168           aaIndexHeaderRead = true;
 169         }
 170         if (data.startsWith("D ") && aaIndexHeaderRead)
 171         {
 172           reply = FileFormat.ScoreMatrix;
 173           break;
 174         }
 175         if (data.startsWith("##GFF-VERSION"))
 176         {
 177           // GFF - possibly embedded in a Jalview features file!
 178           reply = FileFormat.Features;
 179           break;
 180         }
 181         if (looksLikeFeatureData(data))
 182         {
 183           reply = FileFormat.Features;
 184           break;
 185         }
 186         if (data.indexOf("# STOCKHOLM") > -1)
 187         {
 188           reply = FileFormat.Stockholm;
 189           break;
 190         }
 191         if (data.indexOf("_ENTRY.ID") > -1
 192                 || data.indexOf("_AUDIT_AUTHOR.NAME") > -1
 193                 || data.indexOf("_ATOM_SITE.") > -1)
 194         {
 195           reply = FileFormat.MMCif;
 196           break;
 197         }
 198         // if (data.indexOf(">") > -1)
 199         if (data.startsWith(">"))
 200         {
 201           // FASTA, PIR file or BLC file
 202           boolean checkPIR = false, starterm = false;
 203           if ((data.indexOf(">P1;") > -1) || (data.indexOf(">DL;") > -1))
 204           {
 205             // watch for PIR file attributes
 206             checkPIR = true;
 207             reply = FileFormat.PIR;
 208           }
 209           // could also be BLC file, read next line to confirm
 210           data = source.nextLine();
 211
 212           if (data.indexOf(">") > -1)
 213           {
 214             reply = FileFormat.BLC;
 215           }
 216           else
 217           {
 218             // Is this a single line BLC file?
 219             String data1 = source.nextLine();
 220             String data2 = source.nextLine();
 221             int c1;
 222             if (checkPIR)
 223             {
 224               starterm = (data1 != null && data1.indexOf("*") > -1)
 225                       || (data2 != null && data2.indexOf("*") > -1);
 226             }
 227             if (data2 != null && (c1 = data.indexOf("*")) > -1)
 228             {
 229               if (c1 == 0 && c1 == data2.indexOf("*"))
 230               {
 231                 reply = FileFormat.BLC;
 232               }
 233               else
 234               {
 235                 reply = FileFormat.Fasta; // possibly a bad choice - may be
 236                                           // recognised as
 237                 // PIR
 238               }
 239               // otherwise can still possibly be a PIR file
 240             }
 241             else
 242             {
 243               reply = FileFormat.Fasta;
 244               // TODO : AMSA File is indicated if there is annotation in the
 245               // FASTA file - but FASTA will automatically generate this at the
 246               // mo.
 247               if (!checkPIR)
 248               {
 249                 break;
 250               }
 251             }
 252           }
 253           // final check for PIR content. require
 254           // >P1;title\n<blah>\nterminated sequence to occur at least once.
 255
 256           // TODO the PIR/fasta ambiguity may be the use case that is needed to
 257           // have
 258           // a 'Parse as type XXX' parameter for the applet/application.
 259           if (checkPIR)
 260           {
 261             String dta = null;
 262             if (!starterm)
 263             {
 264               do
 265               {
 266                 try
 267                 {
 268                   dta = source.nextLine();
 269                 } catch (IOException ex)
 270                 {
 271                 }
 272                 if (dta != null && dta.indexOf("*") > -1)
 273                 {
 274                   starterm = true;
 275                 }
 276               } while (dta != null && !starterm);
 277             }
 278             if (starterm)
 279             {
 280               reply = FileFormat.PIR;
 281               break;
 282             }
 283             else
 284             {
 285               reply = FileFormat.Fasta; // probably a bad choice!
 286             }
 287           }
 288           // read as a FASTA (probably)
 289           break;
 290         }
 291         if (data.indexOf("{\"") > -1)
 292         {
 293           reply = FileFormat.Json;
 294           break;
 295         }
 296         int lessThan = data.indexOf("<");
 297         if ((lessThan > -1)) // possible Markup Language data i.e HTML,
 298                              // RNAML, XML
 299         {
 300           String upper = data.toUpperCase();
 301           if (upper.substring(lessThan).startsWith("<HTML"))
 302           {
 303             reply = FileFormat.Html;
 304             break;
 305           }
 306           if (upper.substring(lessThan).startsWith("<RNAML"))
 307           {
 308             reply = FileFormat.Rnaml;
 309             break;
 310           }
 311         }
 312
 313         if ((data.length() < 1) || (data.indexOf("#") == 0))
 314         {
 315           lineswereskipped = true;
 316           continue;
 317         }
 318
 319         if (data.indexOf("PILEUP") > -1)
 320         {
 321           reply = FileFormat.Pileup;
 322
 323           break;
 324         }
 325
 326         if ((data.indexOf("//") == 0) || ((data.indexOf("!!") > -1) && (data
 327                 .indexOf("!!") < data.indexOf("_MULTIPLE_ALIGNMENT "))))
 328         {
 329           reply = FileFormat.MSF;
 330
 331           break;
 332         }
 333         else if (data.indexOf("CLUSTAL") > -1)
 334         {
 335           reply = FileFormat.Clustal;
 336
 337           break;
 338         }
 339
 340         else if (data.indexOf("HEADER") == 0 || data.indexOf("ATOM") == 0)
 341         {
 342           reply = FileFormat.PDB;
 343           break;
 344         }
 345         else if (data.matches("\\s*\\d+\\s+\\d+\\s*"))
 346         {
 347           reply = FileFormat.Phylip;
 348           break;
 349         }
 350         else
 351         {
 352           if (!lineswereskipped && looksLikeJnetData(data))
 353           {
 354             reply = FileFormat.Jnet;
 355             break;
 356           }
 357         }
 358
 359         lineswereskipped = true; // this means there was some junk before any
 360         // key file signature
 361       }
 362       if (closeSource)
 363       {
 364         source.close();
 365       }
 366       else
 367       {
 368         source.reset(bytesRead); // so the file can be parsed from the mark
 369       }
 370     } catch (Exception ex)
 371     {
 372       System.err.println("File Identification failed!\n" + ex);
 373       throw new FileFormatException(source.errormessage);
 374     }
 375     if (trimmedLength == 0)
 376     {
 377       System.err.println(
 378               "File Identification failed! - Empty file was read.");
 379       throw new FileFormatException("EMPTY DATA FILE");
 380     }
 381     System.out.println("File format identified as " + reply.toString());
 382     return reply;
 383   }
 384
 385   /**
 386    * Returns true if the data appears to be Jnet concise annotation format
 387    *
 388    * @param data
 389    * @return
 390    */
 391   protected boolean looksLikeJnetData(String data)
 392   {
 393     char firstChar = data.charAt(0);
 394     int colonPos = data.indexOf(":");
 395     int commaPos = data.indexOf(",");
 396     boolean isJnet = firstChar != '*' && firstChar != ' ' && colonPos > -1
 397             && commaPos > -1 && colonPos < commaPos;
 398     // && data.indexOf(",")<data.indexOf(",", data.indexOf(","))) / ??
 399     return isJnet;
 400   }
 401
 402   /**
 403    * Returns true if the data has at least 6 tab-delimited fields _and_ fields 4
 404    * and 5 are integer (start/end)
 405    *
 406    * @param data
 407    * @return
 408    */
 409   protected boolean looksLikeFeatureData(String data)
 410   {
 411     if (data == null)
 412     {
 413       return false;
 414     }
 415     String[] columns = data.split("\t");
 416     if (columns.length < 6)
 417     {
 418       return false;
 419     }
 420     for (int col = 3; col < 5; col++)
 421     {
 422       try
 423       {
 424         Integer.parseInt(columns[col]);
 425       } catch (NumberFormatException e)
 426       {
 427         return false;
 428       }
 429     }
 430     return true;
 431   }
 432
 433   public static void main(String[] args)
 434   {
 435     for (int i = 0; args != null && i < args.length; i++)
 436     {
 437       IdentifyFile ider = new IdentifyFile();
 438       FileFormatI type = null;
 439       try
 440       {
 441         type = ider.identify(args[i], DataSourceType.FILE);
 442       } catch (FileFormatException e)
 443       {
 444         System.err.println(
 445                 String.format("Error '%s' identifying file type for %s",
 446                         args[i], e.getMessage()));
 447       }
 448       System.out.println("Type of " + args[i] + " is " + type);
 449     }
 450     if (args == null || args.length == 0)
 451     {
 452       System.err.println("Usage: <Filename> [<Filename> ...]");
 453     }
 454   }
 455 }