JAL-653 JAL-1968 FeaturesFile now handles Jalview or GFF2 or GFF3
[jalview.git] / src / jalview / io / IdentifyFile.java
index f1f51b1..40e9390 100755 (executable)
@@ -1,47 +1,50 @@
 /*
- * Jalview - A Sequence Alignment Editor and Viewer (Version 2.4)
- * Copyright (C) 2008 AM Waterhouse, J Procter, G Barton, M Clamp, S Searle
- * 
- * This program is free software; you can redistribute it and/or
+ * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
+ * Copyright (C) $$Year-Rel$$ The Jalview Authors
+ *
+ * This file is part of Jalview.
+ *
+ * Jalview is free software: you can redistribute it and/or
  * modify it under the terms of the GNU General Public License
- * as published by the Free Software Foundation; either version 2
+ * as published by the Free Software Foundation, either version 3
  * of the License, or (at your option) any later version.
- * 
- * This program is distributed in the hope that it will be useful,
- * but WITHOUT ANY WARRANTY; without even the implied warranty of
- * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
- * GNU General Public License for more details.
- * 
+ *
+ * Jalview is distributed in the hope that it will be useful, but
+ * WITHOUT ANY WARRANTY; without even the implied warranty
+ * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
+ * PURPOSE.  See the GNU General Public License for more details.
+ *
  * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA
+ * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
+ * The Jalview Authors are detailed in the 'AUTHORS' file.
  */
 package jalview.io;
 
-import java.io.*;
-import java.net.*;
+import java.io.IOException;
 
 /**
  * DOCUMENT ME!
- * 
+ *
  * @author $author$
  * @version $Revision$
  */
 public class IdentifyFile
 {
+  public static final String FeaturesFile = "GFF or Jalview features";
+
   /**
    * Identify a datasource's file content.
-   * 
+   *
    * @note Do not use this method for stream sources - create a FileParse object
    *       instead.
-   * 
+   *
    * @param file
-   *                DOCUMENT ME!
+   *          DOCUMENT ME!
    * @param protocol
-   *                DOCUMENT ME!
+   *          DOCUMENT ME!
    * @return ID String
    */
-  public String Identify(String file, String protocol)
+  public String identify(String file, String protocol)
   {
     String emessage = "UNIDENTIFIED FILE PARSING ERROR";
     FileParse parser = null;
@@ -50,7 +53,7 @@ public class IdentifyFile
       parser = new FileParse(file, protocol);
       if (parser.isValid())
       {
-        return Identify(parser);
+        return identify(parser);
       }
     } catch (Exception e)
     {
@@ -59,32 +62,35 @@ public class IdentifyFile
       emessage = e.getMessage();
     }
     if (parser != null)
+    {
       return parser.errormessage;
+    }
     return emessage;
   }
 
-  public String Identify(FileParse source)
+  public String identify(FileParse source)
   {
-    return Identify(source, true); // preserves original behaviour prior to
-                                    // version 2.3
+    return identify(source, true); // preserves original behaviour prior to
+    // version 2.3
   }
 
   /**
    * Identify contents of source, closing it or resetting source to start
    * afterwards.
-   * 
+   *
    * @param source
    * @param closeSource
    * @return filetype string
    */
-  public String Identify(FileParse source, boolean closeSource)
+  public String identify(FileParse source, boolean closeSource)
   {
     String reply = "PFAM";
     String data;
-    int length = 0;
+    int bytesRead = 0;
+    int trimmedLength = 0;
     boolean lineswereskipped = false;
     boolean isBinary = false; // true if length is non-zero and non-printable
-                              // characters are encountered
+    // characters are encountered
     try
     {
       if (!closeSource)
@@ -93,7 +99,8 @@ public class IdentifyFile
       }
       while ((data = source.nextLine()) != null)
       {
-        length += data.length();
+        bytesRead += data.length();
+        trimmedLength += data.trim().length();
         if (!lineswereskipped)
         {
           for (int i = 0; !isBinary && i < data.length(); i++)
@@ -101,8 +108,8 @@ public class IdentifyFile
             char c = data.charAt(i);
             isBinary = (c < 32 && c != '\t' && c != '\n' && c != '\r'
                     && c != 5 && c != 27); // nominal binary character filter
-                                            // excluding CR, LF, tab,DEL and ^E
-                                            // for certain blast ids
+            // excluding CR, LF, tab,DEL and ^E
+            // for certain blast ids
           }
         }
         if (isBinary)
@@ -127,13 +134,152 @@ public class IdentifyFile
         }
         data = data.toUpperCase();
 
-        if ((data.indexOf("# STOCKHOLM") > -1))
+        if (data.startsWith("##GFF-VERSION"))
+        {
+          // GFF - possibly embedded in a Jalview features file!
+          reply = FeaturesFile;
+          break;
+        }
+        if (looksLikeFeatureData(data))
+        {
+          reply = FeaturesFile;
+          break;
+        }
+        if (data.indexOf("# STOCKHOLM") > -1)
         {
           reply = "STH";
+          break;
+        }
+        // if (data.indexOf(">") > -1)
+        if (data.startsWith(">"))
+        {
+          // FASTA, PIR file or BLC file
+          boolean checkPIR = false, starterm = false;
+          if ((data.indexOf(">P1;") > -1) || (data.indexOf(">DL;") > -1))
+          {
+            // watch for PIR file attributes
+            checkPIR = true;
+            reply = "PIR";
+          }
+          // could also be BLC file, read next line to confirm
+          data = source.nextLine();
+
+          if (data.indexOf(">") > -1)
+          {
+            reply = "BLC";
+          }
+          else
+          {
+            // Is this a single line BLC file?
+            String data1 = source.nextLine();
+            String data2 = source.nextLine();
+            int c1;
+            if (checkPIR)
+            {
+              starterm = (data1 != null && data1.indexOf("*") > -1)
+                      || (data2 != null && data2.indexOf("*") > -1);
+            }
+            if (data2 != null && (c1 = data.indexOf("*")) > -1)
+            {
+              if (c1 == 0 && c1 == data2.indexOf("*"))
+              {
+                reply = "BLC";
+              }
+              else
+              {
+                reply = "FASTA"; // possibly a bad choice - may be recognised as
+                // PIR
+              }
+              // otherwise can still possibly be a PIR file
+            }
+            else
+            {
+              reply = "FASTA";
+              // TODO : AMSA File is indicated if there is annotation in the
+              // FASTA file - but FASTA will automatically generate this at the
+              // mo.
+              if (!checkPIR)
+              {
+                break;
+              }
+            }
+          }
+          // final check for PIR content. require
+          // >P1;title\n<blah>\nterminated sequence to occur at least once.
 
+          // TODO the PIR/fasta ambiguity may be the use case that is needed to
+          // have
+          // a 'Parse as type XXX' parameter for the applet/application.
+          if (checkPIR)
+          {
+            String dta = null;
+            if (!starterm)
+            {
+              do
+              {
+                try
+                {
+                  dta = source.nextLine();
+                } catch (IOException ex)
+                {
+                }
+                ;
+                if (dta != null && dta.indexOf("*") > -1)
+                {
+                  starterm = true;
+                }
+              } while (dta != null && !starterm);
+            }
+            if (starterm)
+            {
+              reply = "PIR";
+              break;
+            }
+            else
+            {
+              reply = "FASTA"; // probably a bad choice!
+            }
+          }
+          // read as a FASTA (probably)
           break;
         }
+        if ((data.indexOf("<") > -1)) // possible Markup Language data i.e HTML,
+                                      // RNAML, XML
+        {
+          // FIXME this is nuts - it consumes the rest of the file if no match
+          boolean identified = false;
+          do
+          {
+            if (data.matches("<(?i)html(\"[^\"]*\"|'[^']*'|[^'\">])*>"))
+            {
+              reply = HtmlFile.FILE_DESC;
+              identified = true;
+              break;
+            }
+
+            if (data.matches("<(?i)rnaml (\"[^\"]*\"|'[^']*'|[^'\">])*>"))
+            {
+              reply = "RNAML";
+              identified = true;
+              break;
+            }
+          } while ((data = source.nextLine()) != null);
 
+          if (identified)
+          {
+            break;
+          }
+          if (data == null)
+          {
+            break;
+          }
+        }
+
+        if (data.indexOf("{\"") > -1)
+        {
+          reply = JSONFile.FILE_DESC;
+          break;
+        }
         if ((data.length() < 1) || (data.indexOf("#") == 0))
         {
           lineswereskipped = true;
@@ -161,59 +307,28 @@ public class IdentifyFile
 
           break;
         }
-        else if ((data.indexOf(">P1;") > -1) || (data.indexOf(">DL;") > -1))
-        {
-          reply = "PIR";
 
-          break;
-        }
-        else if (data.indexOf(">") > -1)
-        {
-          // could be BLC file, read next line to confirm
-          data = source.nextLine();
-
-          if (data.indexOf(">") > -1)
-          {
-            reply = "BLC";
-          }
-          else
-          {
-            // Is this a single line BLC file?
-            source.nextLine();
-            String data2 = source.nextLine();
-            if (data2 != null && data.indexOf("*") > -1
-                    && data.indexOf("*") == data2.indexOf("*"))
-            {
-              reply = "BLC";
-            }
-            else
-            {
-              reply = "FASTA";
-              // TODO : AMSA File is indicated if there is annotation in the
-              // FASTA file - but FASTA will automatically generate this at the
-              // mo.
-            }
-          }
-          break;
-        }
         else if (data.indexOf("HEADER") == 0 || data.indexOf("ATOM") == 0)
         {
           reply = "PDB";
           break;
         }
-        else if (!lineswereskipped && data.charAt(0) != '*'
-                && data.charAt(0) != ' '
-                && data.indexOf(":") < data.indexOf(",")) // &&
-                                                          // data.indexOf(",")<data.indexOf(",",
-                                                          // data.indexOf(",")))
+        else if (data.matches("\\s*\\d+\\s+\\d+\\s*"))
         {
-          // file looks like a concise JNet file
-          reply = "JnetFile";
+          reply = PhylipFile.FILE_DESC;
           break;
         }
+        else
+        {
+          if (!lineswereskipped && looksLikeJnetData(data))
+          {
+            reply = "JnetFile";
+            break;
+          }
+        }
 
         lineswereskipped = true; // this means there was some junk before any
-                                  // key file signature
+        // key file signature
       }
       if (closeSource)
       {
@@ -221,14 +336,14 @@ public class IdentifyFile
       }
       else
       {
-        source.reset(); // so the file can be parsed from the beginning again.
+        source.reset(bytesRead); // so the file can be parsed from the mark
       }
     } catch (Exception ex)
     {
       System.err.println("File Identification failed!\n" + ex);
       return source.errormessage;
     }
-    if (length == 0)
+    if (trimmedLength == 0)
     {
       System.err
               .println("File Identification failed! - Empty file was read.");
@@ -237,12 +352,57 @@ public class IdentifyFile
     return reply;
   }
 
+  /**
+   * Returns true if the data appears to be Jnet concise annotation format
+   * 
+   * @param data
+   * @return
+   */
+  protected boolean looksLikeJnetData(String data)
+  {
+    char firstChar = data.charAt(0);
+    int colonPos = data.indexOf(":");
+    int commaPos = data.indexOf(",");
+    boolean isJnet = firstChar != '*' && firstChar != ' ' && colonPos > -1
+            && commaPos > -1 && colonPos < commaPos;
+    // && data.indexOf(",")<data.indexOf(",", data.indexOf(","))) / ??
+    return isJnet;
+  }
+
+  /**
+   * Returns true if the data has at least 6 tab-delimited fields _and_ 
+   * fields 4 and 5 are integer (start/end) 
+   * @param data
+   * @return
+   */
+  protected boolean looksLikeFeatureData(String data)
+  {
+    if (data == null)
+    {
+      return false;
+    }
+    String[] columns = data.split("\t");
+    if (columns.length < 6) {
+      return false;
+    }
+    for (int col = 3; col < 5; col++)
+    {
+      try {
+        Integer.parseInt(columns[col]);
+      } catch (NumberFormatException e) {
+        return false;
+      }
+    }
+    return true;
+  }
+
   public static void main(String[] args)
   {
+
     for (int i = 0; args != null && i < args.length; i++)
     {
       IdentifyFile ider = new IdentifyFile();
-      String type = ider.Identify(args[i], AppletFormatAdapter.FILE);
+      String type = ider.identify(args[i], AppletFormatAdapter.FILE);
       System.out.println("Type of " + args[i] + " is " + type);
     }
     if (args == null || args.length == 0)