src/jalview/io/IdentifyFile.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.io;
  22
  23 import java.io.IOException;
  24
  25 /**
  26  * DOCUMENT ME!
  27  *
  28  * @author $author$
  29  * @version $Revision$
  30  */
  31 public class IdentifyFile
  32 {
  33   public static final String FeaturesFile = "GFF or Jalview features";
  34
  35   /**
  36    * Identify a datasource's file content.
  37    *
  38    * @note Do not use this method for stream sources - create a FileParse object
  39    *       instead.
  40    *
  41    * @param file
  42    *          DOCUMENT ME!
  43    * @param protocol
  44    *          DOCUMENT ME!
  45    * @return ID String
  46    */
  47   public String identify(String file, String protocol)
  48   {
  49     String emessage = "UNIDENTIFIED FILE PARSING ERROR";
  50     FileParse parser = null;
  51     try
  52     {
  53       parser = new FileParse(file, protocol);
  54       if (parser.isValid())
  55       {
  56         return identify(parser);
  57       }
  58     } catch (Exception e)
  59     {
  60       System.err.println("Error whilst identifying");
  61       e.printStackTrace(System.err);
  62       emessage = e.getMessage();
  63     }
  64     if (parser != null)
  65     {
  66       return parser.errormessage;
  67     }
  68     return emessage;
  69   }
  70
  71   public String identify(FileParse source)
  72   {
  73     return identify(source, true); // preserves original behaviour prior to
  74     // version 2.3
  75   }
  76
  77   /**
  78    * Identify contents of source, closing it or resetting source to start
  79    * afterwards.
  80    *
  81    * @param source
  82    * @param closeSource
  83    * @return filetype string
  84    */
  85   public String identify(FileParse source, boolean closeSource)
  86   {
  87     String reply = "PFAM";
  88     String data;
  89     int bytesRead = 0;
  90     int trimmedLength = 0;
  91     boolean lineswereskipped = false;
  92     boolean isBinary = false; // true if length is non-zero and non-printable
  93     // characters are encountered
  94     try
  95     {
  96       if (!closeSource)
  97       {
  98         source.mark();
  99       }
 100       while ((data = source.nextLine()) != null)
 101       {
 102         bytesRead += data.length();
 103         trimmedLength += data.trim().length();
 104         if (!lineswereskipped)
 105         {
 106           for (int i = 0; !isBinary && i < data.length(); i++)
 107           {
 108             char c = data.charAt(i);
 109             isBinary = (c < 32 && c != '\t' && c != '\n' && c != '\r'
 110                     && c != 5 && c != 27); // nominal binary character filter
 111             // excluding CR, LF, tab,DEL and ^E
 112             // for certain blast ids
 113           }
 114         }
 115         if (isBinary)
 116         {
 117           // jar files are special - since they contain all sorts of random
 118           // characters.
 119           if (source.inFile != null)
 120           {
 121             String fileStr = source.inFile.getName();
 122             // possibly a Jalview archive.
 123             if (fileStr.lastIndexOf(".jar") > -1
 124                     || fileStr.lastIndexOf(".zip") > -1)
 125             {
 126               reply = "Jalview";
 127             }
 128           }
 129           if (!lineswereskipped && data.startsWith("PK"))
 130           {
 131             reply = "Jalview"; // archive.
 132             break;
 133           }
 134         }
 135         data = data.toUpperCase();
 136
 137         if (data.startsWith("##GFF-VERSION"))
 138         {
 139           // GFF - possibly embedded in a Jalview features file!
 140           reply = FeaturesFile;
 141           break;
 142         }
 143         if (looksLikeFeatureData(data))
 144         {
 145           reply = FeaturesFile;
 146           break;
 147         }
 148         if (data.indexOf("# STOCKHOLM") > -1)
 149         {
 150           reply = "STH";
 151           break;
 152         }
 153         // if (data.indexOf(">") > -1)
 154         if (data.startsWith(">"))
 155         {
 156           // FASTA, PIR file or BLC file
 157           boolean checkPIR = false, starterm = false;
 158           if ((data.indexOf(">P1;") > -1) || (data.indexOf(">DL;") > -1))
 159           {
 160             // watch for PIR file attributes
 161             checkPIR = true;
 162             reply = "PIR";
 163           }
 164           // could also be BLC file, read next line to confirm
 165           data = source.nextLine();
 166
 167           if (data.indexOf(">") > -1)
 168           {
 169             reply = "BLC";
 170           }
 171           else
 172           {
 173             // Is this a single line BLC file?
 174             String data1 = source.nextLine();
 175             String data2 = source.nextLine();
 176             int c1;
 177             if (checkPIR)
 178             {
 179               starterm = (data1 != null && data1.indexOf("*") > -1)
 180                       || (data2 != null && data2.indexOf("*") > -1);
 181             }
 182             if (data2 != null && (c1 = data.indexOf("*")) > -1)
 183             {
 184               if (c1 == 0 && c1 == data2.indexOf("*"))
 185               {
 186                 reply = "BLC";
 187               }
 188               else
 189               {
 190                 reply = "FASTA"; // possibly a bad choice - may be recognised as
 191                 // PIR
 192               }
 193               // otherwise can still possibly be a PIR file
 194             }
 195             else
 196             {
 197               reply = "FASTA";
 198               // TODO : AMSA File is indicated if there is annotation in the
 199               // FASTA file - but FASTA will automatically generate this at the
 200               // mo.
 201               if (!checkPIR)
 202               {
 203                 break;
 204               }
 205             }
 206           }
 207           // final check for PIR content. require
 208           // >P1;title\n<blah>\nterminated sequence to occur at least once.
 209
 210           // TODO the PIR/fasta ambiguity may be the use case that is needed to
 211           // have
 212           // a 'Parse as type XXX' parameter for the applet/application.
 213           if (checkPIR)
 214           {
 215             String dta = null;
 216             if (!starterm)
 217             {
 218               do
 219               {
 220                 try
 221                 {
 222                   dta = source.nextLine();
 223                 } catch (IOException ex)
 224                 {
 225                 }
 226                 ;
 227                 if (dta != null && dta.indexOf("*") > -1)
 228                 {
 229                   starterm = true;
 230                 }
 231               } while (dta != null && !starterm);
 232             }
 233             if (starterm)
 234             {
 235               reply = "PIR";
 236               break;
 237             }
 238             else
 239             {
 240               reply = "FASTA"; // probably a bad choice!
 241             }
 242           }
 243           // read as a FASTA (probably)
 244           break;
 245         }
 246         if ((data.indexOf("<") > -1)) // possible Markup Language data i.e HTML,
 247                                       // RNAML, XML
 248         {
 249           // FIXME this is nuts - it consumes the rest of the file if no match
 250           boolean identified = false;
 251           do
 252           {
 253             if (data.matches("<(?i)html(\"[^\"]*\"|'[^']*'|[^'\">])*>"))
 254             {
 255               reply = HtmlFile.FILE_DESC;
 256               identified = true;
 257               break;
 258             }
 259
 260             if (data.matches("<(?i)rnaml (\"[^\"]*\"|'[^']*'|[^'\">])*>"))
 261             {
 262               reply = "RNAML";
 263               identified = true;
 264               break;
 265             }
 266           } while ((data = source.nextLine()) != null);
 267
 268           if (identified)
 269           {
 270             break;
 271           }
 272           if (data == null)
 273           {
 274             break;
 275           }
 276         }
 277
 278         if (data.indexOf("{\"") > -1)
 279         {
 280           reply = JSONFile.FILE_DESC;
 281           break;
 282         }
 283         if ((data.length() < 1) || (data.indexOf("#") == 0))
 284         {
 285           lineswereskipped = true;
 286           continue;
 287         }
 288
 289         if (data.indexOf("PILEUP") > -1)
 290         {
 291           reply = "PileUp";
 292
 293           break;
 294         }
 295
 296         if ((data.indexOf("//") == 0)
 297                 || ((data.indexOf("!!") > -1) && (data.indexOf("!!") < data
 298                         .indexOf("_MULTIPLE_ALIGNMENT "))))
 299         {
 300           reply = "MSF";
 301
 302           break;
 303         }
 304         else if (data.indexOf("CLUSTAL") > -1)
 305         {
 306           reply = "CLUSTAL";
 307
 308           break;
 309         }
 310
 311         else if (data.indexOf("HEADER") == 0 || data.indexOf("ATOM") == 0)
 312         {
 313           reply = "PDB";
 314           break;
 315         }
 316         else if (data.matches("\\s*\\d+\\s+\\d+\\s*"))
 317         {
 318           reply = PhylipFile.FILE_DESC;
 319           break;
 320         }
 321         else
 322         {
 323           if (!lineswereskipped && looksLikeJnetData(data))
 324           {
 325             reply = "JnetFile";
 326             break;
 327           }
 328         }
 329
 330         lineswereskipped = true; // this means there was some junk before any
 331         // key file signature
 332       }
 333       if (closeSource)
 334       {
 335         source.close();
 336       }
 337       else
 338       {
 339         source.reset(bytesRead); // so the file can be parsed from the mark
 340       }
 341     } catch (Exception ex)
 342     {
 343       System.err.println("File Identification failed!\n" + ex);
 344       return source.errormessage;
 345     }
 346     if (trimmedLength == 0)
 347     {
 348       System.err
 349               .println("File Identification failed! - Empty file was read.");
 350       return "EMPTY DATA FILE";
 351     }
 352     return reply;
 353   }
 354
 355   /**
 356    * Returns true if the data appears to be Jnet concise annotation format
 357    *
 358    * @param data
 359    * @return
 360    */
 361   protected boolean looksLikeJnetData(String data)
 362   {
 363     char firstChar = data.charAt(0);
 364     int colonPos = data.indexOf(":");
 365     int commaPos = data.indexOf(",");
 366     boolean isJnet = firstChar != '*' && firstChar != ' ' && colonPos > -1
 367             && commaPos > -1 && colonPos < commaPos;
 368     // && data.indexOf(",")<data.indexOf(",", data.indexOf(","))) / ??
 369     return isJnet;
 370   }
 371
 372   /**
 373    * Returns true if the data has at least 6 tab-delimited fields _and_
 374    * fields 4 and 5 are integer (start/end)
 375    * @param data
 376    * @return
 377    */
 378   protected boolean looksLikeFeatureData(String data)
 379   {
 380     if (data == null)
 381     {
 382       return false;
 383     }
 384     String[] columns = data.split("\t");
 385     if (columns.length < 6) {
 386       return false;
 387     }
 388     for (int col = 3; col < 5; col++)
 389     {
 390       try {
 391         Integer.parseInt(columns[col]);
 392       } catch (NumberFormatException e) {
 393         return false;
 394       }
 395     }
 396     return true;
 397   }
 398
 399   public static void main(String[] args)
 400   {
 401
 402     for (int i = 0; args != null && i < args.length; i++)
 403     {
 404       IdentifyFile ider = new IdentifyFile();
 405       String type = ider.identify(args[i], AppletFormatAdapter.FILE);
 406       System.out.println("Type of " + args[i] + " is " + type);
 407     }
 408     if (args == null || args.length == 0)
 409     {
 410       System.err.println("Usage: <Filename> [<Filename> ...]");
 411     }
 412   }
 413 }