JAL-1645 Version-Rel Version 2.9 Year-Rel 2015 Licensing glob
[jalview.git] / src / jalview / io / AppletFormatAdapter.java
index fc1d870..00d6d2f 100755 (executable)
 /*
- * Jalview - A Sequence Alignment Editor and Viewer (Version 2.6)
- * Copyright (C) 2010 J Procter, AM Waterhouse, G Barton, M Clamp, S Searle
- * 
+ * Jalview - A Sequence Alignment Editor and Viewer (Version 2.9)
+ * Copyright (C) 2015 The Jalview Authors
+ *
  * This file is part of Jalview.
- * 
+ *
  * Jalview is free software: you can redistribute it and/or
- * modify it under the terms of the GNU General Public License 
- * as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version.
- * 
- * Jalview is distributed in the hope that it will be useful, but 
- * WITHOUT ANY WARRANTY; without even the implied warranty 
- * of MERCHANTABILITY or FITNESS FOR A PARTICULAR 
+ * modify it under the terms of the GNU General Public License
+ * as published by the Free Software Foundation, either version 3
+ * of the License, or (at your option) any later version.
+ *
+ * Jalview is distributed in the hope that it will be useful, but
+ * WITHOUT ANY WARRANTY; without even the implied warranty
+ * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  * PURPOSE.  See the GNU General Public License for more details.
- * 
- * You should have received a copy of the GNU General Public License along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
+ *
+ * You should have received a copy of the GNU General Public License
+ * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
+ * The Jalview Authors are detailed in the 'AUTHORS' file.
  */
 package jalview.io;
 
+import jalview.api.AlignExportSettingI;
+import jalview.api.AlignmentViewPanel;
+import jalview.datamodel.Alignment;
+import jalview.datamodel.AlignmentAnnotation;
+import jalview.datamodel.AlignmentI;
+import jalview.datamodel.AlignmentView;
+import jalview.util.MessageManager;
+
 import java.io.File;
+import java.io.IOException;
 import java.io.InputStream;
-
-import jalview.datamodel.*;
+import java.util.List;
 
 /**
  * A low level class for alignment and feature IO with alignment formatting
  * methods used by both applet and application for generating flat alignment
  * files. It also holds the lists of magic format names that the applet and
  * application will allow the user to read or write files with.
- * 
+ *
  * @author $author$
  * @version $Revision$
  */
 public class AppletFormatAdapter
 {
+  private AlignmentViewPanel viewpanel;
+
+  public static String FILE = "File";
+
+  public static String URL = "URL";
+
+  public static String PASTE = "Paste";
+
+  public static String CLASSLOADER = "ClassLoader";
+
   /**
-   * List of valid format strings used in the isValidFormat method
+   * add jalview-derived non-secondary structure annotation from PDB structure
    */
-  public static final String[] READABLE_FORMATS = new String[]
-  { "BLC", "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "STH",
-      "PDB", "JnetFile" }; // , "SimpleBLAST" };
+  boolean annotFromStructure = false;
 
   /**
-   * List of valid format strings for use by callers of the formatSequences
-   * method
+   * add secondary structure from PDB data with built-in algorithms
    */
-  public static final String[] WRITEABLE_FORMATS = new String[]
-  { "BLC", "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "AMSA" };
+  boolean localSecondaryStruct = false;
 
   /**
-   * List of extensions corresponding to file format types in WRITABLE_FNAMES
-   * that are writable by the application.
+   * process PDB data with web services
+   */
+  boolean serviceSecondaryStruct = false;
+
+  private AlignFile alignFile = null;
+
+  String inFile;
+
+  /**
+   * character used to write newlines
    */
-  public static final String[] WRITABLE_EXTENSIONS = new String[]
-  { "fa, fasta, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa", "jar" };
+  protected String newline = System.getProperty("line.separator");
+
+  private AlignExportSettingI exportSettings;
 
   /**
-   * List of writable formats by the application. Order must correspond with the
-   * WRITABLE_EXTENSIONS list of formats.
+   * List of valid format strings used in the isValidFormat method
    */
-  public static final String[] WRITABLE_FNAMES = new String[]
-  { "Fasta", "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "Jalview" };
+  public static final String[] READABLE_FORMATS = new String[] { "BLC",
+      "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "STH", "PDB",
+      "JnetFile", "RNAML", PhylipFile.FILE_DESC, JSONFile.FILE_DESC,
+      IdentifyFile.GFF3File, "HTML" };
 
   /**
    * List of readable format file extensions by application in order
    * corresponding to READABLE_FNAMES
    */
-  public static final String[] READABLE_EXTENSIONS = new String[]
-  { "fa, fasta, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa", "jar",
-      "sto,stk" }; // ,
-
-  // ".blast"
-  // };
+  public static final String[] READABLE_EXTENSIONS = new String[] {
+      "fa, fasta, mfa, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa",
+      "sto,stk", "xml,rnaml", PhylipFile.FILE_EXT, JSONFile.FILE_EXT,
+      ".gff2,gff3", "jar,jvp", HtmlFile.FILE_EXT };
 
   /**
    * List of readable formats by application in order corresponding to
    * READABLE_EXTENSIONS
    */
-  public static final String[] READABLE_FNAMES = new String[]
-  { "Fasta", "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "Jalview",
-      "Stockholm" };// ,
+  public static final String[] READABLE_FNAMES = new String[] { "Fasta",
+      "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "Stockholm", "RNAML",
+      PhylipFile.FILE_DESC, JSONFile.FILE_DESC, IdentifyFile.GFF3File,
+      "Jalview", HtmlFile.FILE_DESC };
 
-  // "SimpleBLAST"
-  // };
+  /**
+   * List of valid format strings for use by callers of the formatSequences
+   * method
+   */
+  public static final String[] WRITEABLE_FORMATS = new String[] { "BLC",
+      "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "AMSA", "STH",
+      PhylipFile.FILE_DESC, JSONFile.FILE_DESC };
+
+  /**
+   * List of extensions corresponding to file format types in WRITABLE_FNAMES
+   * that are writable by the application.
+   */
+  public static final String[] WRITABLE_EXTENSIONS = new String[] {
+      "fa, fasta, mfa, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa",
+      "sto,stk", PhylipFile.FILE_EXT, JSONFile.FILE_EXT, "jvp" };
+
+  /**
+   * List of writable formats by the application. Order must correspond with the
+   * WRITABLE_EXTENSIONS list of formats.
+   */
+  public static final String[] WRITABLE_FNAMES = new String[] { "Fasta",
+      "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "STH",
+      PhylipFile.FILE_DESC, JSONFile.FILE_DESC, "Jalview" };
 
   public static String INVALID_CHARACTERS = "Contains invalid characters";
 
@@ -89,8 +136,24 @@ public class AppletFormatAdapter
   public static String SUPPORTED_FORMATS = "Formats currently supported are\n"
           + prettyPrint(READABLE_FORMATS);
 
+  public AppletFormatAdapter()
+  {
+  }
+
+  public AppletFormatAdapter(AlignmentViewPanel viewpanel)
+  {
+    this.viewpanel = viewpanel;
+  }
+
+  public AppletFormatAdapter(AlignmentViewPanel alignPanel,
+          AlignExportSettingI settings)
+  {
+    viewpanel = alignPanel;
+    exportSettings = settings;
+  }
+
   /**
-   * 
+   *
    * @param els
    * @return grammatically correct(ish) list consisting of els elements.
    */
@@ -100,38 +163,25 @@ public class AppletFormatAdapter
     for (int i = 0, iSize = els.length - 1; i < iSize; i++)
     {
       list.append(els[i]);
-      list.append(",");
+      list.append(", ");
     }
     list.append(" and " + els[els.length - 1] + ".");
     return list.toString();
   }
 
-  public static String FILE = "File";
-
-  public static String URL = "URL";
-
-  public static String PASTE = "Paste";
-
-  public static String CLASSLOADER = "ClassLoader";
-
-  AlignFile afile = null;
-
-  String inFile;
-  /**
-   * character used to write newlines 
-   */
-  protected String newline = System.getProperty("line.separator");
   public void setNewlineString(String nl)
   {
     newline = nl;
   }
+
   public String getNewlineString()
   {
     return newline;
   }
+
   /**
    * check that this format is valid for reading
-   * 
+   *
    * @param format
    *          a format string to be compared with READABLE_FORMATS
    * @return true if format is readable
@@ -143,7 +193,7 @@ public class AppletFormatAdapter
 
   /**
    * validate format is valid for IO
-   * 
+   *
    * @param format
    *          a format string to be compared with either READABLE_FORMATS or
    *          WRITEABLE_FORMATS
@@ -154,12 +204,16 @@ public class AppletFormatAdapter
   public static final boolean isValidFormat(String format,
           boolean forwriting)
   {
+    if (format == null)
+    {
+      return false;
+    }
     boolean valid = false;
     String[] format_list = (forwriting) ? WRITEABLE_FORMATS
             : READABLE_FORMATS;
-    for (int i = 0; i < format_list.length; i++)
+    for (String element : format_list)
     {
-      if (format_list[i].equalsIgnoreCase(format))
+      if (element.equalsIgnoreCase(format))
       {
         return true;
       }
@@ -170,17 +224,17 @@ public class AppletFormatAdapter
 
   /**
    * Constructs the correct filetype parser for a characterised datasource
-   * 
+   *
    * @param inFile
    *          data/data location
    * @param type
    *          type of datasource
    * @param format
    *          File format of data provided by datasource
-   * 
+   *
    * @return DOCUMENT ME!
    */
-  public Alignment readFile(String inFile, String type, String format)
+  public AlignmentI readFile(String inFile, String type, String format)
           throws java.io.IOException
   {
     // TODO: generalise mapping between format string and io. class instances
@@ -190,55 +244,73 @@ public class AppletFormatAdapter
     {
       if (format.equals("FASTA"))
       {
-        afile = new FastaFile(inFile, type);
+        alignFile = new FastaFile(inFile, type);
       }
       else if (format.equals("MSF"))
       {
-        afile = new MSFfile(inFile, type);
+        alignFile = new MSFfile(inFile, type);
       }
       else if (format.equals("PileUp"))
       {
-        afile = new PileUpfile(inFile, type);
+        alignFile = new PileUpfile(inFile, type);
       }
       else if (format.equals("CLUSTAL"))
       {
-        afile = new ClustalFile(inFile, type);
+        alignFile = new ClustalFile(inFile, type);
       }
       else if (format.equals("BLC"))
       {
-        afile = new BLCFile(inFile, type);
+        alignFile = new BLCFile(inFile, type);
       }
       else if (format.equals("PIR"))
       {
-        afile = new PIRFile(inFile, type);
+        alignFile = new PIRFile(inFile, type);
       }
       else if (format.equals("PFAM"))
       {
-        afile = new PfamFile(inFile, type);
+        alignFile = new PfamFile(inFile, type);
       }
       else if (format.equals("JnetFile"))
       {
-        afile = new JPredFile(inFile, type);
-        ((JPredFile) afile).removeNonSequences();
+        alignFile = new JPredFile(inFile, type);
+        ((JPredFile) alignFile).removeNonSequences();
       }
       else if (format.equals("PDB"))
       {
-        afile = new MCview.PDBfile(inFile, type);
+        alignFile = new MCview.PDBfile(annotFromStructure,
+                localSecondaryStruct, serviceSecondaryStruct, inFile, type);
+        // Uncomment to test Jmol data based PDB processing: JAL-1213
+        // afile = new jalview.ext.jmol.PDBFileWithJmol(inFile, type);
       }
       else if (format.equals("STH"))
       {
-        afile = new StockholmFile(inFile, type);
+        alignFile = new StockholmFile(inFile, type);
       }
       else if (format.equals("SimpleBLAST"))
       {
-        afile = new SimpleBlastFile(inFile, type);
+        alignFile = new SimpleBlastFile(inFile, type);
       }
-
-      Alignment al = new Alignment(afile.getSeqsAsArray());
-
-      afile.addAnnotations(al);
-
-      return al;
+      else if (format.equals(PhylipFile.FILE_DESC))
+      {
+        alignFile = new PhylipFile(inFile, type);
+      }
+      else if (format.equals(JSONFile.FILE_DESC))
+      {
+        alignFile = new JSONFile(inFile, type);
+      }
+      else if (format.equals(HtmlFile.FILE_DESC))
+      {
+        alignFile = new HtmlFile(inFile, type);
+      }
+      else if (format.equals("RNAML"))
+      {
+        alignFile = new RnamlFile(inFile, type);
+      }
+      else if (format.equals(IdentifyFile.GFF3File))
+      {
+        alignFile = new Gff3File(inFile, type);
+      }
+      return buildAlignmentFrom(alignFile);
     } catch (Exception e)
     {
       e.printStackTrace();
@@ -257,10 +329,8 @@ public class AppletFormatAdapter
         try
         {
           // Possible sequence is just residues with no label
-          afile = new FastaFile(">UNKNOWN\n" + inFile, "Paste");
-          Alignment al = new Alignment(afile.getSeqsAsArray());
-          afile.addAnnotations(al);
-          return al;
+          alignFile = new FastaFile(">UNKNOWN\n" + inFile, "Paste");
+          return buildAlignmentFrom(alignFile);
 
         } catch (Exception ex)
         {
@@ -272,7 +342,10 @@ public class AppletFormatAdapter
           ex.printStackTrace();
         }
       }
-
+      if (format.equalsIgnoreCase("HTML"))
+      {
+        throw new IOException(e.getMessage());
+      }
       // If we get to this stage, the format was not supported
       throw new java.io.IOException(SUPPORTED_FORMATS);
     }
@@ -280,15 +353,15 @@ public class AppletFormatAdapter
 
   /**
    * Constructs the correct filetype parser for an already open datasource
-   * 
+   *
    * @param source
    *          an existing datasource
    * @param format
    *          File format of data that will be provided by datasource
-   * 
+   *
    * @return DOCUMENT ME!
    */
-  public Alignment readFromFile(FileParse source, String format)
+  public AlignmentI readFromFile(FileParse source, String format)
           throws java.io.IOException
   {
     // TODO: generalise mapping between format string and io. class instances
@@ -301,55 +374,73 @@ public class AppletFormatAdapter
     {
       if (format.equals("FASTA"))
       {
-        afile = new FastaFile(source);
+        alignFile = new FastaFile(source);
       }
       else if (format.equals("MSF"))
       {
-        afile = new MSFfile(source);
+        alignFile = new MSFfile(source);
       }
       else if (format.equals("PileUp"))
       {
-        afile = new PileUpfile(source);
+        alignFile = new PileUpfile(source);
       }
       else if (format.equals("CLUSTAL"))
       {
-        afile = new ClustalFile(source);
+        alignFile = new ClustalFile(source);
       }
       else if (format.equals("BLC"))
       {
-        afile = new BLCFile(source);
+        alignFile = new BLCFile(source);
       }
       else if (format.equals("PIR"))
       {
-        afile = new PIRFile(source);
+        alignFile = new PIRFile(source);
       }
       else if (format.equals("PFAM"))
       {
-        afile = new PfamFile(source);
+        alignFile = new PfamFile(source);
       }
       else if (format.equals("JnetFile"))
       {
-        afile = new JPredFile(source);
-        ((JPredFile) afile).removeNonSequences();
+        alignFile = new JPredFile(source);
+        ((JPredFile) alignFile).removeNonSequences();
       }
       else if (format.equals("PDB"))
       {
-        afile = new MCview.PDBfile(source);
+        alignFile = new MCview.PDBfile(annotFromStructure,
+                localSecondaryStruct, serviceSecondaryStruct, source);
       }
       else if (format.equals("STH"))
       {
-        afile = new StockholmFile(source);
+        alignFile = new StockholmFile(source);
+      }
+      else if (format.equals("RNAML"))
+      {
+        alignFile = new RnamlFile(source);
       }
       else if (format.equals("SimpleBLAST"))
       {
-        afile = new SimpleBlastFile(source);
+        alignFile = new SimpleBlastFile(source);
+      }
+      else if (format.equals(PhylipFile.FILE_DESC))
+      {
+        alignFile = new PhylipFile(source);
+      }
+      else if (format.equals(IdentifyFile.GFF3File))
+      {
+        alignFile = new Gff3File(inFile, type);
+      }
+      else if (format.equals(JSONFile.FILE_DESC))
+      {
+        alignFile = new JSONFile(source);
+      }
+      else if (format.equals(HtmlFile.FILE_DESC))
+      {
+        alignFile = new HtmlFile(source);
       }
 
-      Alignment al = new Alignment(afile.getSeqsAsArray());
-
-      afile.addAnnotations(al);
+      return buildAlignmentFrom(alignFile);
 
-      return al;
     } catch (Exception e)
     {
       e.printStackTrace();
@@ -368,10 +459,8 @@ public class AppletFormatAdapter
         try
         {
           // Possible sequence is just residues with no label
-          afile = new FastaFile(">UNKNOWN\n" + inFile, "Paste");
-          Alignment al = new Alignment(afile.getSeqsAsArray());
-          afile.addAnnotations(al);
-          return al;
+          alignFile = new FastaFile(">UNKNOWN\n" + inFile, "Paste");
+          return buildAlignmentFrom(alignFile);
 
         } catch (Exception ex)
         {
@@ -390,10 +479,61 @@ public class AppletFormatAdapter
   }
 
   /**
+   * boilerplate method to handle data from an AlignFile and construct a new
+   * alignment or import to an existing alignment
+   * 
+   * @param alignFile2
+   * @return AlignmentI instance ready to pass to a UI constructor
+   */
+  private AlignmentI buildAlignmentFrom(AlignFile alignFile2)
+  {
+    // Standard boilerplate for creating alignment from parser
+    // alignFile.configureForView(viewpanel);
+
+    AlignmentI al = new Alignment(alignFile.getSeqsAsArray());
+
+    alignFile.addAnnotations(al);
+
+    alignFile.addGroups(al);
+
+    return al;
+  }
+
+  /**
+   * create an alignment flatfile from a Jalview alignment view
+   * 
+   * @param format
+   * @param jvsuffix
+   * @param av
+   * @param selectedOnly
+   * @return flatfile in a string
+   */
+  public String formatSequences(String format, boolean jvsuffix,
+          AlignmentViewPanel ap, boolean selectedOnly)
+  {
+
+    AlignmentView selvew = ap.getAlignViewport().getAlignmentView(
+            selectedOnly, false);
+    AlignmentI aselview = selvew.getVisibleAlignment(ap.getAlignViewport()
+            .getGapCharacter());
+    List<AlignmentAnnotation> ala = (ap.getAlignViewport()
+            .getVisibleAlignmentAnnotation(selectedOnly));
+    if (ala != null)
+    {
+      for (AlignmentAnnotation aa : ala)
+      {
+        aselview.addAnnotation(aa);
+      }
+    }
+    viewpanel = ap;
+    return formatSequences(format, aselview, jvsuffix);
+  }
+
+  /**
    * Construct an output class for an alignment in a particular filetype TODO:
    * allow caller to detect errors and warnings encountered when generating
    * output
-   * 
+   *
    * @param format
    *          string name of alignment format
    * @param alignment
@@ -401,7 +541,7 @@ public class AppletFormatAdapter
    * @param jvsuffix
    *          passed to AlnFile class controls whether /START-END is added to
    *          sequence names
-   * 
+   *
    * @return alignment flat file contents
    */
   public String formatSequences(String format, AlignmentI alignment,
@@ -410,7 +550,6 @@ public class AppletFormatAdapter
     try
     {
       AlignFile afile = null;
-
       if (format.equalsIgnoreCase("FASTA"))
       {
         afile = new FastaFile();
@@ -441,21 +580,48 @@ public class AppletFormatAdapter
       }
       else if (format.equalsIgnoreCase("STH"))
       {
-        afile = new StockholmFile();
+        afile = new StockholmFile(alignment);
       }
       else if (format.equalsIgnoreCase("AMSA"))
       {
         afile = new AMSAFile(alignment);
       }
+      else if (format.equalsIgnoreCase(PhylipFile.FILE_DESC))
+      {
+        afile = new PhylipFile();
+      }
+      else if (format.equalsIgnoreCase(JSONFile.FILE_DESC))
+      {
+        afile = new JSONFile();
+      }
+      else if (format.equalsIgnoreCase("RNAML"))
+      {
+        afile = new RnamlFile();
+      }
+
       else
       {
         throw new Exception(
-                "Implementation error: Unknown file format string");
+                MessageManager
+                        .getString("error.implementation_error_unknown_file_format_string"));
       }
+
       afile.setNewlineString(newline);
       afile.addJVSuffix(jvsuffix);
+      afile.setExportSettings(exportSettings);
+      afile.configureForView(viewpanel);
 
-      afile.setSeqs(alignment.getSequencesArray());
+      // check whether we were given a specific alignment to export, rather than
+      // the one in the viewpanel
+      if (viewpanel == null || viewpanel.getAlignment() == null
+              || viewpanel.getAlignment() != alignment)
+      {
+        afile.setSeqs(alignment.getSequencesArray());
+      }
+      else
+      {
+        afile.setSeqs(viewpanel.getAlignment().getSequencesArray());
+      }
 
       String afileresp = afile.print();
       if (afile.hasWarningMessage())
@@ -478,7 +644,8 @@ public class AppletFormatAdapter
   {
     String protocol = FILE;
     String ft = file.toLowerCase().trim();
-    if (ft.indexOf("http:") ==0 || ft.indexOf("https:") ==0 || ft.indexOf("file:") == 0)
+    if (ft.indexOf("http:") == 0 || ft.indexOf("https:") == 0
+            || ft.indexOf("file:") == 0)
     {
       protocol = URL;
     }
@@ -501,7 +668,7 @@ public class AppletFormatAdapter
           System.gc();
           long memf = -r.totalMemory() + r.freeMemory();
           long t1 = -System.currentTimeMillis();
-          Alignment al = afa.readFile(args[i], FILE,
+          AlignmentI al = afa.readFile(args[i], FILE,
                   new IdentifyFile().Identify(args[i], FILE));
           t1 += System.currentTimeMillis();
           System.gc();
@@ -529,7 +696,6 @@ public class AppletFormatAdapter
           System.out
                   .println("Difference between free memory now and before is "
                           + (memf / (1024.0 * 1024.0) * 1.0) + " MB");
-
         } catch (Exception e)
         {
           System.err.println("Exception when dealing with " + i
@@ -548,7 +714,7 @@ public class AppletFormatAdapter
   /**
    * try to discover how to access the given file as a valid datasource that
    * will be identified as the given type.
-   * 
+   *
    * @param file
    * @param format
    * @return protocol that yields the data parsable as the given type
@@ -715,4 +881,14 @@ public class AppletFormatAdapter
     }
     return null;
   }
+
+  public AlignFile getAlignFile()
+  {
+    return alignFile;
+  }
+
+  public void setAlignFile(AlignFile alignFile)
+  {
+    this.alignFile = alignFile;
+  }
 }