JAL-1620 version bump and release notes
[jalview.git] / src / jalview / io / AppletFormatAdapter.java
index 8e05b44..81783fc 100755 (executable)
@@ -1,33 +1,42 @@
 /*
- * Jalview - A Sequence Alignment Editor and Viewer (Development Version 2.4.1)
- * Copyright (C) 2009 AM Waterhouse, J Procter, G Barton, M Clamp, S Searle
- * 
- * This program is free software; you can redistribute it and/or
+ * Jalview - A Sequence Alignment Editor and Viewer (Version 2.8.2b1)
+ * Copyright (C) 2014 The Jalview Authors
+ *
+ * This file is part of Jalview.
+ *
+ * Jalview is free software: you can redistribute it and/or
  * modify it under the terms of the GNU General Public License
- * as published by the Free Software Foundation; either version 2
+ * as published by the Free Software Foundation, either version 3
  * of the License, or (at your option) any later version.
- * 
- * This program is distributed in the hope that it will be useful,
- * but WITHOUT ANY WARRANTY; without even the implied warranty of
- * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
- * GNU General Public License for more details.
- * 
+ *
+ * Jalview is distributed in the hope that it will be useful, but
+ * WITHOUT ANY WARRANTY; without even the implied warranty
+ * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
+ * PURPOSE.  See the GNU General Public License for more details.
+ *
  * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA
+ * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
+ * The Jalview Authors are detailed in the 'AUTHORS' file.
  */
 package jalview.io;
 
-import java.io.File;
+import jalview.api.AlignViewportI;
+import jalview.datamodel.Alignment;
+import jalview.datamodel.AlignmentAnnotation;
+import jalview.datamodel.AlignmentI;
+import jalview.datamodel.AlignmentView;
+import jalview.util.MessageManager;
 
-import jalview.datamodel.*;
+import java.io.File;
+import java.io.InputStream;
+import java.util.List;
 
 /**
  * A low level class for alignment and feature IO with alignment formatting
  * methods used by both applet and application for generating flat alignment
  * files. It also holds the lists of magic format names that the applet and
  * application will allow the user to read or write files with.
- * 
+ *
  * @author $author$
  * @version $Revision$
  */
@@ -37,43 +46,51 @@ public class AppletFormatAdapter
    * List of valid format strings used in the isValidFormat method
    */
   public static final String[] READABLE_FORMATS = new String[]
-  { "BLC", "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "STH",
-      "PDB", "JnetFile" };
+          { "BLC", "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "STH",
+    "PDB", "JnetFile", "RNAML", PhylipFile.FILE_DESC }; // , "SimpleBLAST" };
 
   /**
    * List of valid format strings for use by callers of the formatSequences
    * method
    */
   public static final String[] WRITEABLE_FORMATS = new String[]
-  { "BLC", "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "AMSA" };
+          { "BLC", "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "AMSA",
+    "STH", PhylipFile.FILE_DESC };
 
   /**
    * List of extensions corresponding to file format types in WRITABLE_FNAMES
    * that are writable by the application.
    */
   public static final String[] WRITABLE_EXTENSIONS = new String[]
-  { "fa, fasta, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa", "jar" };
+          { "fa, fasta, mfa, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa",
+    "jvp", "sto,stk", "jar", PhylipFile.FILE_EXT };
 
   /**
    * List of writable formats by the application. Order must correspond with the
    * WRITABLE_EXTENSIONS list of formats.
    */
   public static final String[] WRITABLE_FNAMES = new String[]
-  { "Fasta", "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "Jalview" };
+          { "Fasta", "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "Jalview",
+    "STH", "Jalview", PhylipFile.FILE_DESC };
 
   /**
    * List of readable format file extensions by application in order
    * corresponding to READABLE_FNAMES
    */
   public static final String[] READABLE_EXTENSIONS = new String[]
-  { "fa, fasta, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa", "jar" };
+          { "fa, fasta, mfa, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa",
+    "jar,jvp", "sto,stk", "xml,rnaml", PhylipFile.FILE_EXT }; // ".blast"
 
   /**
    * List of readable formats by application in order corresponding to
    * READABLE_EXTENSIONS
    */
   public static final String[] READABLE_FNAMES = new String[]
-  { "Fasta", "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "Jalview" };
+          { "Fasta", "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "Jalview",
+    "Stockholm", "RNAML", PhylipFile.FILE_DESC };// ,
+
+  // "SimpleBLAST"
+  // };
 
   public static String INVALID_CHARACTERS = "Contains invalid characters";
 
@@ -82,7 +99,7 @@ public class AppletFormatAdapter
           + prettyPrint(READABLE_FORMATS);
 
   /**
-   * 
+   *
    * @param els
    * @return grammatically correct(ish) list consisting of els elements.
    */
@@ -106,15 +123,45 @@ public class AppletFormatAdapter
 
   public static String CLASSLOADER = "ClassLoader";
 
+  /**
+   * add jalview-derived non-secondary structure annotation from PDB structure
+   */
+  boolean annotFromStructure = false;
+
+  /**
+   * add secondary structure from PDB data with built-in algorithms
+   */
+  boolean localSecondaryStruct = false;
+
+  /**
+   * process PDB data with web services
+   */
+  boolean serviceSecondaryStruct = false;
+
   AlignFile afile = null;
 
   String inFile;
 
   /**
+   * character used to write newlines
+   */
+  protected String newline = System.getProperty("line.separator");
+
+  public void setNewlineString(String nl)
+  {
+    newline = nl;
+  }
+
+  public String getNewlineString()
+  {
+    return newline;
+  }
+
+  /**
    * check that this format is valid for reading
-   * 
+   *
    * @param format
-   *                a format string to be compared with READABLE_FORMATS
+   *          a format string to be compared with READABLE_FORMATS
    * @return true if format is readable
    */
   public static final boolean isValidFormat(String format)
@@ -124,13 +171,12 @@ public class AppletFormatAdapter
 
   /**
    * validate format is valid for IO
-   * 
+   *
    * @param format
-   *                a format string to be compared with either READABLE_FORMATS
-   *                or WRITEABLE_FORMATS
+   *          a format string to be compared with either READABLE_FORMATS or
+   *          WRITEABLE_FORMATS
    * @param forwriting
-   *                when true, format is checked for containment in
-   *                WRITEABLE_FORMATS
+   *          when true, format is checked for containment in WRITEABLE_FORMATS
    * @return true if format is valid
    */
   public static final boolean isValidFormat(String format,
@@ -139,9 +185,9 @@ public class AppletFormatAdapter
     boolean valid = false;
     String[] format_list = (forwriting) ? WRITEABLE_FORMATS
             : READABLE_FORMATS;
-    for (int i = 0; i < format_list.length; i++)
+    for (String element : format_list)
     {
-      if (format_list[i].equalsIgnoreCase(format))
+      if (element.equalsIgnoreCase(format))
       {
         return true;
       }
@@ -152,14 +198,14 @@ public class AppletFormatAdapter
 
   /**
    * Constructs the correct filetype parser for a characterised datasource
-   * 
+   *
    * @param inFile
-   *                data/data location
+   *          data/data location
    * @param type
-   *                type of datasource
+   *          type of datasource
    * @param format
-   *                File format of data provided by datasource
-   * 
+   *          File format of data provided by datasource
+   *
    * @return DOCUMENT ME!
    */
   public Alignment readFile(String inFile, String type, String format)
@@ -205,12 +251,27 @@ public class AppletFormatAdapter
       }
       else if (format.equals("PDB"))
       {
-        afile = new MCview.PDBfile(inFile, type);
+        afile = new MCview.PDBfile(annotFromStructure,
+                localSecondaryStruct, serviceSecondaryStruct, inFile, type);
+        // Uncomment to test Jmol data based PDB processing: JAL-1213
+        // afile = new jalview.ext.jmol.PDBFileWithJmol(inFile, type);
       }
       else if (format.equals("STH"))
       {
         afile = new StockholmFile(inFile, type);
       }
+      else if (format.equals("SimpleBLAST"))
+      {
+        afile = new SimpleBlastFile(inFile, type);
+      }
+      else if (format.equals(PhylipFile.FILE_DESC))
+      {
+        afile = new PhylipFile(inFile, type);
+      }
+      else if (format.equals("RNAML"))
+      {
+        afile = new RnamlFile(inFile, type);
+      }
 
       Alignment al = new Alignment(afile.getSeqsAsArray());
 
@@ -258,15 +319,15 @@ public class AppletFormatAdapter
 
   /**
    * Constructs the correct filetype parser for an already open datasource
-   * 
+   *
    * @param source
-   *                an existing datasource
+   *          an existing datasource
    * @param format
-   *                File format of data that will be provided by datasource
-   * 
+   *          File format of data that will be provided by datasource
+   *
    * @return DOCUMENT ME!
    */
-  public Alignment readFromFile(FileParse source, String format)
+  public AlignmentI readFromFile(FileParse source, String format)
           throws java.io.IOException
   {
     // TODO: generalise mapping between format string and io. class instances
@@ -312,13 +373,25 @@ public class AppletFormatAdapter
       }
       else if (format.equals("PDB"))
       {
-        afile = new MCview.PDBfile(source);
+        afile = new MCview.PDBfile(annotFromStructure,
+                localSecondaryStruct, serviceSecondaryStruct, source);
       }
       else if (format.equals("STH"))
       {
         afile = new StockholmFile(source);
       }
-
+      else if (format.equals("RNAML"))
+      {
+        afile = new RnamlFile(source);
+      }
+      else if (format.equals("SimpleBLAST"))
+      {
+        afile = new SimpleBlastFile(source);
+      }
+      else if (format.equals(PhylipFile.FILE_DESC))
+      {
+        afile = new PhylipFile(source);
+      }
       Alignment al = new Alignment(afile.getSeqsAsArray());
 
       afile.addAnnotations(al);
@@ -363,18 +436,48 @@ public class AppletFormatAdapter
     }
   }
 
+
   /**
-   * Construct an output class for an alignment in a particular filetype
-   * TODO: allow caller to detect errors and warnings encountered when generating output
+   * create an alignment flatfile from a Jalview alignment view
+   * @param format
+   * @param jvsuffix
+   * @param av
+   * @param selectedOnly
+   * @return flatfile in a string
+   */
+  public String formatSequences(String format, boolean jvsuffix,
+          AlignViewportI av, boolean selectedOnly)
+  {
+
+    AlignmentView selvew = av.getAlignmentView(selectedOnly, false);
+    AlignmentI aselview = selvew.getVisibleAlignment(av
+            .getGapCharacter());
+    List<AlignmentAnnotation> ala = (av
+            .getVisibleAlignmentAnnotation(selectedOnly));
+    if (ala != null)
+    {
+      for (AlignmentAnnotation aa : ala)
+      {
+        aselview.addAnnotation(aa);
+      }
+    }
+
+    return formatSequences(format, aselview, jvsuffix);
+  }
+
+  /**
+   * Construct an output class for an alignment in a particular filetype TODO:
+   * allow caller to detect errors and warnings encountered when generating
+   * output
    *
    * @param format
-   *                string name of alignment format
+   *          string name of alignment format
    * @param alignment
-   *                the alignment to be written out
+   *          the alignment to be written out
    * @param jvsuffix
-   *                passed to AlnFile class controls whether /START-END is added
-   *                to sequence names
-   * 
+   *          passed to AlnFile class controls whether /START-END is added to
+   *          sequence names
+   *
    * @return alignment flat file contents
    */
   public String formatSequences(String format, AlignmentI alignment,
@@ -414,18 +517,26 @@ public class AppletFormatAdapter
       }
       else if (format.equalsIgnoreCase("STH"))
       {
-        afile = new StockholmFile();
+        afile = new StockholmFile(alignment);
       }
       else if (format.equalsIgnoreCase("AMSA"))
       {
         afile = new AMSAFile(alignment);
       }
-      else
+      else if (format.equalsIgnoreCase(PhylipFile.FILE_DESC))
+      {
+        afile = new PhylipFile();
+      }
+      else if (format.equalsIgnoreCase("RNAML"))
       {
-        throw new Exception(
-                "Implementation error: Unknown file format string");
+        afile = new RnamlFile();
       }
 
+      else
+      {
+        throw new Exception(MessageManager.getString("error.implementation_error_unknown_file_format_string"));
+      }
+      afile.setNewlineString(newline);
       afile.addJVSuffix(jvsuffix);
 
       afile.setSeqs(alignment.getSequencesArray());
@@ -433,7 +544,8 @@ public class AppletFormatAdapter
       String afileresp = afile.print();
       if (afile.hasWarningMessage())
       {
-        System.err.println("Warning raised when writing as "+format+" : "+afile.getWarningMessage());
+        System.err.println("Warning raised when writing as " + format
+                + " : " + afile.getWarningMessage());
       }
       return afileresp;
     } catch (Exception e)
@@ -446,6 +558,18 @@ public class AppletFormatAdapter
     return null;
   }
 
+  public static String checkProtocol(String file)
+  {
+    String protocol = FILE;
+    String ft = file.toLowerCase().trim();
+    if (ft.indexOf("http:") == 0 || ft.indexOf("https:") == 0
+            || ft.indexOf("file:") == 0)
+    {
+      protocol = URL;
+    }
+    return protocol;
+  }
+
   public static void main(String[] args)
   {
     int i = 0;
@@ -462,8 +586,8 @@ public class AppletFormatAdapter
           System.gc();
           long memf = -r.totalMemory() + r.freeMemory();
           long t1 = -System.currentTimeMillis();
-          Alignment al = afa.readFile(args[i], FILE, new IdentifyFile()
-                  .Identify(args[i], FILE));
+          Alignment al = afa.readFile(args[i], FILE,
+                  new IdentifyFile().Identify(args[i], FILE));
           t1 += System.currentTimeMillis();
           System.gc();
           memf += r.totalMemory() - r.freeMemory();
@@ -471,6 +595,16 @@ public class AppletFormatAdapter
           {
             System.out.println("Alignment contains " + al.getHeight()
                     + " sequences and " + al.getWidth() + " columns.");
+            try
+            {
+              System.out.println(new AppletFormatAdapter().formatSequences(
+                      "FASTA", al, true));
+            } catch (Exception e)
+            {
+              System.err
+              .println("Couln't format the alignment for output as a FASTA file.");
+              e.printStackTrace(System.err);
+            }
           }
           else
           {
@@ -478,9 +612,8 @@ public class AppletFormatAdapter
           }
           System.out.println("Read took " + (t1 / 1000.0) + " seconds.");
           System.out
-                  .println("Difference between free memory now and before is "
-                          + (memf / (1024.0 * 1024.0) * 1.0) + " MB");
-
+          .println("Difference between free memory now and before is "
+                  + (memf / (1024.0 * 1024.0) * 1.0) + " MB");
         } catch (Exception e)
         {
           System.err.println("Exception when dealing with " + i
@@ -494,6 +627,176 @@ public class AppletFormatAdapter
       }
       i++;
     }
+  }
+
+  /**
+   * try to discover how to access the given file as a valid datasource that
+   * will be identified as the given type.
+   *
+   * @param file
+   * @param format
+   * @return protocol that yields the data parsable as the given type
+   */
+  public static String resolveProtocol(String file, String format)
+  {
+    return resolveProtocol(file, format, false);
+  }
+
+  public static String resolveProtocol(String file, String format,
+          boolean debug)
+  {
+    // TODO: test thoroughly!
+    String protocol = null;
+    if (debug)
+    {
+      System.out.println("resolving datasource started with:\n>>file\n"
+              + file + ">>endfile");
+    }
+
+    // This might throw a security exception in certain browsers
+    // Netscape Communicator for instance.
+    try
+    {
+      boolean rtn = false;
+      InputStream is = System.getSecurityManager().getClass()
+              .getResourceAsStream("/" + file);
+      if (is != null)
+      {
+        rtn = true;
+        is.close();
+      }
+      if (debug)
+      {
+        System.err.println("Resource '" + file + "' was "
+                + (rtn ? "" : "not") + " located by classloader.");
+      }
+      ;
+      if (rtn)
+      {
+        protocol = AppletFormatAdapter.CLASSLOADER;
+      }
+
+    } catch (Exception ex)
+    {
+      System.err
+      .println("Exception checking resources: " + file + " " + ex);
+    }
+
+    if (file.indexOf("://") > -1)
+    {
+      protocol = AppletFormatAdapter.URL;
+    }
+    else
+    {
+      // skipping codebase prepend check.
+      protocol = AppletFormatAdapter.FILE;
+    }
+    FileParse fp = null;
+    try
+    {
+      if (debug)
+      {
+        System.out.println("Trying to get contents of resource as "
+                + protocol + ":");
+      }
+      fp = new FileParse(file, protocol);
+      if (!fp.isValid())
+      {
+        fp = null;
+      }
+      else
+      {
+        if (debug)
+        {
+          System.out.println("Successful.");
+        }
+      }
+    } catch (Exception e)
+    {
+      if (debug)
+      {
+        System.err.println("Exception when accessing content: " + e);
+      }
+      fp = null;
+    }
+    if (fp == null)
+    {
+      if (debug)
+      {
+        System.out.println("Accessing as paste.");
+      }
+      protocol = AppletFormatAdapter.PASTE;
+      fp = null;
+      try
+      {
+        fp = new FileParse(file, protocol);
+        if (!fp.isValid())
+        {
+          fp = null;
+        }
+      } catch (Exception e)
+      {
+        System.err.println("Failed to access content as paste!");
+        e.printStackTrace();
+        fp = null;
+      }
+    }
+    if (fp == null)
+    {
+      return null;
+    }
+    if (format == null || format.length() == 0)
+    {
+      return protocol;
+    }
+    else
+    {
+      try
+      {
+        String idformat = new jalview.io.IdentifyFile().Identify(file,
+                protocol);
+        if (idformat == null)
+        {
+          if (debug)
+          {
+            System.out.println("Format not identified. Inaccessible file.");
+          }
+          return null;
+        }
+        if (debug)
+        {
+          System.out.println("Format identified as " + idformat
+                  + "and expected as " + format);
+        }
+        if (idformat.equals(format))
+        {
+          if (debug)
+          {
+            System.out.println("Protocol identified as " + protocol);
+          }
+          return protocol;
+        }
+        else
+        {
+          if (debug)
+          {
+            System.out
+            .println("File deemed not accessible via " + protocol);
+          }
+          fp.close();
+          return null;
+        }
+      } catch (Exception e)
+      {
+        if (debug)
+        {
+          System.err.println("File deemed not accessible via " + protocol);
+          e.printStackTrace();
+        }
+        ;
 
+      }
+    }
+    return null;
   }
 }