JAL-1641 Re-implemented lost changes after sequenceFeature refactor
[jalview.git] / src / jalview / io / AppletFormatAdapter.java
1 /*
2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
4  *
5  * This file is part of Jalview.
6  *
7  * Jalview is free software: you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License
9  * as published by the Free Software Foundation, either version 3
10  * of the License, or (at your option) any later version.
11  *
12  * Jalview is distributed in the hope that it will be useful, but
13  * WITHOUT ANY WARRANTY; without even the implied warranty
14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
15  * PURPOSE.  See the GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
19  * The Jalview Authors are detailed in the 'AUTHORS' file.
20  */
21 package jalview.io;
22
23 import jalview.api.AlignViewportI;
24 import jalview.datamodel.Alignment;
25 import jalview.datamodel.AlignmentAnnotation;
26 import jalview.datamodel.AlignmentI;
27 import jalview.datamodel.AlignmentView;
28 import jalview.util.MessageManager;
29
30 import java.io.File;
31 import java.io.InputStream;
32 import java.util.List;
33
34 /**
35  * A low level class for alignment and feature IO with alignment formatting
36  * methods used by both applet and application for generating flat alignment
37  * files. It also holds the lists of magic format names that the applet and
38  * application will allow the user to read or write files with.
39  *
40  * @author $author$
41  * @version $Revision$
42  */
43 public class AppletFormatAdapter
44 {
45   /**
46    * List of valid format strings used in the isValidFormat method
47    */
48   public static final String[] READABLE_FORMATS = new String[]
49   { "BLC", "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "STH",
50       "PDB", "JnetFile", "RNAML", PhylipFile.FILE_DESC, JSONFile.FILE_DESC,
51       "HTML" };
52
53   /**
54    * List of readable format file extensions by application in order
55    * corresponding to READABLE_FNAMES
56    */
57   public static final String[] READABLE_EXTENSIONS = new String[]
58   { "fa, fasta, mfa, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa",
59       "sto,stk", "xml,rnaml", PhylipFile.FILE_EXT, JSONFile.FILE_EXT,
60       "jar,jvp", "html" };
61
62   /**
63    * List of readable formats by application in order corresponding to
64    * READABLE_EXTENSIONS
65    */
66   public static final String[] READABLE_FNAMES = new String[]
67   { "Fasta", "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "Stockholm",
68       "RNAML", PhylipFile.FILE_DESC, JSONFile.FILE_DESC, "Jalview", "HTML" };
69
70   /**
71    * List of valid format strings for use by callers of the formatSequences
72    * method
73    */
74   public static final String[] WRITEABLE_FORMATS = new String[]
75           { "BLC", "CLUSTAL", "FASTA", "MSF", "PileUp", "PIR", "PFAM", "AMSA",
76     "STH", PhylipFile.FILE_DESC, JSONFile.FILE_DESC };
77
78   /**
79    * List of extensions corresponding to file format types in WRITABLE_FNAMES
80    * that are writable by the application.
81    */
82   public static final String[] WRITABLE_EXTENSIONS = new String[]
83   { "fa, fasta, mfa, fastq", "aln", "pfam", "msf", "pir", "blc", "amsa",
84       "sto,stk", PhylipFile.FILE_EXT, JSONFile.FILE_EXT, "jvp" };
85
86   /**
87    * List of writable formats by the application. Order must correspond with the
88    * WRITABLE_EXTENSIONS list of formats.
89    */
90   public static final String[] WRITABLE_FNAMES = new String[]
91   { "Fasta", "Clustal", "PFAM", "MSF", "PIR", "BLC", "AMSA", "STH",
92       PhylipFile.FILE_DESC, JSONFile.FILE_DESC, "Jalview" };
93
94   public static String INVALID_CHARACTERS = "Contains invalid characters";
95
96   // TODO: make these messages dynamic
97   public static String SUPPORTED_FORMATS = "Formats currently supported are\n"
98           + prettyPrint(READABLE_FORMATS);
99
100   /**
101    *
102    * @param els
103    * @return grammatically correct(ish) list consisting of els elements.
104    */
105   public static String prettyPrint(String[] els)
106   {
107     StringBuffer list = new StringBuffer();
108     for (int i = 0, iSize = els.length - 1; i < iSize; i++)
109     {
110       list.append(els[i]);
111       list.append(", ");
112     }
113     list.append(" and " + els[els.length - 1] + ".");
114     return list.toString();
115   }
116
117   public static String FILE = "File";
118
119   public static String URL = "URL";
120
121   public static String PASTE = "Paste";
122
123   public static String CLASSLOADER = "ClassLoader";
124
125   /**
126    * add jalview-derived non-secondary structure annotation from PDB structure
127    */
128   boolean annotFromStructure = false;
129
130   /**
131    * add secondary structure from PDB data with built-in algorithms
132    */
133   boolean localSecondaryStruct = false;
134
135   /**
136    * process PDB data with web services
137    */
138   boolean serviceSecondaryStruct = false;
139
140   AlignFile afile = null;
141
142   String inFile;
143
144   /**
145    * character used to write newlines
146    */
147   protected String newline = System.getProperty("line.separator");
148
149   public void setNewlineString(String nl)
150   {
151     newline = nl;
152   }
153
154   public String getNewlineString()
155   {
156     return newline;
157   }
158
159   /**
160    * check that this format is valid for reading
161    *
162    * @param format
163    *          a format string to be compared with READABLE_FORMATS
164    * @return true if format is readable
165    */
166   public static final boolean isValidFormat(String format)
167   {
168     return isValidFormat(format, false);
169   }
170
171   /**
172    * validate format is valid for IO
173    *
174    * @param format
175    *          a format string to be compared with either READABLE_FORMATS or
176    *          WRITEABLE_FORMATS
177    * @param forwriting
178    *          when true, format is checked for containment in WRITEABLE_FORMATS
179    * @return true if format is valid
180    */
181   public static final boolean isValidFormat(String format,
182           boolean forwriting)
183   {
184     boolean valid = false;
185     String[] format_list = (forwriting) ? WRITEABLE_FORMATS
186             : READABLE_FORMATS;
187     for (String element : format_list)
188     {
189       if (element.equalsIgnoreCase(format))
190       {
191         return true;
192       }
193     }
194
195     return valid;
196   }
197
198   /**
199    * Constructs the correct filetype parser for a characterised datasource
200    *
201    * @param inFile
202    *          data/data location
203    * @param type
204    *          type of datasource
205    * @param format
206    *          File format of data provided by datasource
207    *
208    * @return DOCUMENT ME!
209    */
210   public Alignment readFile(String inFile, String type, String format)
211           throws java.io.IOException
212   {
213     // TODO: generalise mapping between format string and io. class instances
214     // using Constructor.invoke reflection
215     this.inFile = inFile;
216     try
217     {
218       if (format.equals("FASTA"))
219       {
220         afile = new FastaFile(inFile, type);
221       }
222       else if (format.equals("MSF"))
223       {
224         afile = new MSFfile(inFile, type);
225       }
226       else if (format.equals("PileUp"))
227       {
228         afile = new PileUpfile(inFile, type);
229       }
230       else if (format.equals("CLUSTAL"))
231       {
232         afile = new ClustalFile(inFile, type);
233       }
234       else if (format.equals("BLC"))
235       {
236         afile = new BLCFile(inFile, type);
237       }
238       else if (format.equals("PIR"))
239       {
240         afile = new PIRFile(inFile, type);
241       }
242       else if (format.equals("PFAM"))
243       {
244         afile = new PfamFile(inFile, type);
245       }
246       else if (format.equals("JnetFile"))
247       {
248         afile = new JPredFile(inFile, type);
249         ((JPredFile) afile).removeNonSequences();
250       }
251       else if (format.equals("PDB"))
252       {
253         afile = new MCview.PDBfile(annotFromStructure,
254                 localSecondaryStruct, serviceSecondaryStruct, inFile, type);
255         // Uncomment to test Jmol data based PDB processing: JAL-1213
256         // afile = new jalview.ext.jmol.PDBFileWithJmol(inFile, type);
257       }
258       else if (format.equals("STH"))
259       {
260         afile = new StockholmFile(inFile, type);
261       }
262       else if (format.equals("SimpleBLAST"))
263       {
264         afile = new SimpleBlastFile(inFile, type);
265       }
266       else if (format.equals(PhylipFile.FILE_DESC))
267       {
268         afile = new PhylipFile(inFile, type);
269       }
270        else if (format.equals(JSONFile.FILE_DESC))
271        {
272        afile = new JSONFile(inFile, type);
273        }
274       else if (format.equals("RNAML"))
275       {
276         afile = new RnamlFile(inFile, type);
277       }
278
279       Alignment al = new Alignment(afile.getSeqsAsArray());
280
281       afile.addAnnotations(al);
282       afile.addSeqGroups(al);
283
284       return al;
285     } catch (Exception e)
286     {
287       e.printStackTrace();
288       System.err.println("Failed to read alignment using the '" + format
289               + "' reader.\n" + e);
290
291       if (e.getMessage() != null
292               && e.getMessage().startsWith(INVALID_CHARACTERS))
293       {
294         throw new java.io.IOException(e.getMessage());
295       }
296
297       // Finally test if the user has pasted just the sequence, no id
298       if (type.equalsIgnoreCase("Paste"))
299       {
300         try
301         {
302           // Possible sequence is just residues with no label
303           afile = new FastaFile(">UNKNOWN\n" + inFile, "Paste");
304           Alignment al = new Alignment(afile.getSeqsAsArray());
305
306           afile.addSeqGroups(al);
307           afile.addAnnotations(al);
308           return al;
309
310         } catch (Exception ex)
311         {
312           if (ex.toString().startsWith(INVALID_CHARACTERS))
313           {
314             throw new java.io.IOException(e.getMessage());
315           }
316
317           ex.printStackTrace();
318         }
319       }
320
321       // If we get to this stage, the format was not supported
322       throw new java.io.IOException(SUPPORTED_FORMATS);
323     }
324   }
325
326   /**
327    * Constructs the correct filetype parser for an already open datasource
328    *
329    * @param source
330    *          an existing datasource
331    * @param format
332    *          File format of data that will be provided by datasource
333    *
334    * @return DOCUMENT ME!
335    */
336   public AlignmentI readFromFile(FileParse source, String format)
337           throws java.io.IOException
338   {
339     // TODO: generalise mapping between format string and io. class instances
340     // using Constructor.invoke reflection
341     // This is exactly the same as the readFile method except we substitute
342     // 'inFile, type' with 'source'
343     this.inFile = source.getInFile();
344     String type = source.type;
345     try
346     {
347       if (format.equals("FASTA"))
348       {
349         afile = new FastaFile(source);
350       }
351       else if (format.equals("MSF"))
352       {
353         afile = new MSFfile(source);
354       }
355       else if (format.equals("PileUp"))
356       {
357         afile = new PileUpfile(source);
358       }
359       else if (format.equals("CLUSTAL"))
360       {
361         afile = new ClustalFile(source);
362       }
363       else if (format.equals("BLC"))
364       {
365         afile = new BLCFile(source);
366       }
367       else if (format.equals("PIR"))
368       {
369         afile = new PIRFile(source);
370       }
371       else if (format.equals("PFAM"))
372       {
373         afile = new PfamFile(source);
374       }
375       else if (format.equals("JnetFile"))
376       {
377         afile = new JPredFile(source);
378         ((JPredFile) afile).removeNonSequences();
379       }
380       else if (format.equals("PDB"))
381       {
382         afile = new MCview.PDBfile(annotFromStructure,
383                 localSecondaryStruct, serviceSecondaryStruct, source);
384       }
385       else if (format.equals("STH"))
386       {
387         afile = new StockholmFile(source);
388       }
389       else if (format.equals("RNAML"))
390       {
391         afile = new RnamlFile(source);
392       }
393       else if (format.equals("SimpleBLAST"))
394       {
395         afile = new SimpleBlastFile(source);
396       }
397       else if (format.equals(PhylipFile.FILE_DESC))
398       {
399         afile = new PhylipFile(source);
400       }
401        else if (format.equals(JSONFile.FILE_DESC))
402        {
403        afile = new JSONFile(source);
404        }
405       Alignment al = new Alignment(afile.getSeqsAsArray());
406
407       afile.addAnnotations(al);
408       afile.addSeqGroups(al);
409
410       return al;
411     } catch (Exception e)
412     {
413       e.printStackTrace();
414       System.err.println("Failed to read alignment using the '" + format
415               + "' reader.\n" + e);
416
417       if (e.getMessage() != null
418               && e.getMessage().startsWith(INVALID_CHARACTERS))
419       {
420         throw new java.io.IOException(e.getMessage());
421       }
422
423       // Finally test if the user has pasted just the sequence, no id
424       if (type.equalsIgnoreCase("Paste"))
425       {
426         try
427         {
428           // Possible sequence is just residues with no label
429           afile = new FastaFile(">UNKNOWN\n" + inFile, "Paste");
430           Alignment al = new Alignment(afile.getSeqsAsArray());
431           afile.addAnnotations(al);
432           return al;
433
434         } catch (Exception ex)
435         {
436           if (ex.toString().startsWith(INVALID_CHARACTERS))
437           {
438             throw new java.io.IOException(e.getMessage());
439           }
440
441           ex.printStackTrace();
442         }
443       }
444
445       // If we get to this stage, the format was not supported
446       throw new java.io.IOException(SUPPORTED_FORMATS);
447     }
448   }
449
450
451   /**
452    * create an alignment flatfile from a Jalview alignment view
453    * @param format
454    * @param jvsuffix
455    * @param av
456    * @param selectedOnly
457    * @return flatfile in a string
458    */
459   public String formatSequences(String format, boolean jvsuffix,
460           AlignViewportI av, boolean selectedOnly)
461   {
462
463     AlignmentView selvew = av.getAlignmentView(selectedOnly, false);
464     AlignmentI aselview = selvew.getVisibleAlignment(av
465             .getGapCharacter());
466     List<AlignmentAnnotation> ala = (av
467             .getVisibleAlignmentAnnotation(selectedOnly));
468     if (ala != null)
469     {
470       for (AlignmentAnnotation aa : ala)
471       {
472         aselview.addAnnotation(aa);
473       }
474     }
475
476     return formatSequences(format, aselview, jvsuffix);
477   }
478
479   /**
480    * Construct an output class for an alignment in a particular filetype TODO:
481    * allow caller to detect errors and warnings encountered when generating
482    * output
483    *
484    * @param format
485    *          string name of alignment format
486    * @param alignment
487    *          the alignment to be written out
488    * @param jvsuffix
489    *          passed to AlnFile class controls whether /START-END is added to
490    *          sequence names
491    *
492    * @return alignment flat file contents
493    */
494   public String formatSequences(String format, AlignmentI alignment,
495           boolean jvsuffix)
496   {
497     try
498     {
499       AlignFile afile = null;
500       if (format.equalsIgnoreCase("FASTA"))
501       {
502         afile = new FastaFile();
503       }
504       else if (format.equalsIgnoreCase("MSF"))
505       {
506         afile = new MSFfile();
507       }
508       else if (format.equalsIgnoreCase("PileUp"))
509       {
510         afile = new PileUpfile();
511       }
512       else if (format.equalsIgnoreCase("CLUSTAL"))
513       {
514         afile = new ClustalFile();
515       }
516       else if (format.equalsIgnoreCase("BLC"))
517       {
518         afile = new BLCFile();
519       }
520       else if (format.equalsIgnoreCase("PIR"))
521       {
522         afile = new PIRFile();
523       }
524       else if (format.equalsIgnoreCase("PFAM"))
525       {
526         afile = new PfamFile();
527       }
528       else if (format.equalsIgnoreCase("STH"))
529       {
530         afile = new StockholmFile(alignment);
531       }
532       else if (format.equalsIgnoreCase("AMSA"))
533       {
534         afile = new AMSAFile(alignment);
535       }
536       else if (format.equalsIgnoreCase(PhylipFile.FILE_DESC))
537       {
538         afile = new PhylipFile();
539       }
540        else if (format.equalsIgnoreCase(JSONFile.FILE_DESC))
541        {
542        afile = new JSONFile();
543        }
544       else if (format.equalsIgnoreCase("RNAML"))
545       {
546         afile = new RnamlFile();
547       }
548
549       else
550       {
551         throw new Exception(MessageManager.getString("error.implementation_error_unknown_file_format_string"));
552       }
553       afile.setNewlineString(newline);
554       afile.addJVSuffix(jvsuffix);
555
556       afile.setSeqs(alignment.getSequencesArray());
557       afile.addSeqGroups(alignment);
558
559       // Add non auto calculated annotation to AlignFile
560       for (AlignmentAnnotation annot : alignment.getAlignmentAnnotation())
561       {
562         if (!annot.autoCalculated)
563         {
564           afile.annotations.add(annot);
565         }
566
567       }
568
569       String afileresp = afile.print();
570       if (afile.hasWarningMessage())
571       {
572         System.err.println("Warning raised when writing as " + format
573                 + " : " + afile.getWarningMessage());
574       }
575       return afileresp;
576     } catch (Exception e)
577     {
578       System.err.println("Failed to write alignment as a '" + format
579               + "' file\n");
580       e.printStackTrace();
581     }
582
583     return null;
584   }
585
586   public static String checkProtocol(String file)
587   {
588     String protocol = FILE;
589     String ft = file.toLowerCase().trim();
590     if (ft.indexOf("http:") == 0 || ft.indexOf("https:") == 0
591             || ft.indexOf("file:") == 0)
592     {
593       protocol = URL;
594     }
595     return protocol;
596   }
597
598   public static void main(String[] args)
599   {
600     int i = 0;
601     while (i < args.length)
602     {
603       File f = new File(args[i]);
604       if (f.exists())
605       {
606         try
607         {
608           System.out.println("Reading file: " + f);
609           AppletFormatAdapter afa = new AppletFormatAdapter();
610           Runtime r = Runtime.getRuntime();
611           System.gc();
612           long memf = -r.totalMemory() + r.freeMemory();
613           long t1 = -System.currentTimeMillis();
614           Alignment al = afa.readFile(args[i], FILE,
615                   new IdentifyFile().Identify(args[i], FILE));
616           t1 += System.currentTimeMillis();
617           System.gc();
618           memf += r.totalMemory() - r.freeMemory();
619           if (al != null)
620           {
621             System.out.println("Alignment contains " + al.getHeight()
622                     + " sequences and " + al.getWidth() + " columns.");
623             try
624             {
625               System.out.println(new AppletFormatAdapter().formatSequences(
626                       "FASTA", al, true));
627             } catch (Exception e)
628             {
629               System.err
630               .println("Couln't format the alignment for output as a FASTA file.");
631               e.printStackTrace(System.err);
632             }
633           }
634           else
635           {
636             System.out.println("Couldn't read alignment");
637           }
638           System.out.println("Read took " + (t1 / 1000.0) + " seconds.");
639           System.out
640           .println("Difference between free memory now and before is "
641                   + (memf / (1024.0 * 1024.0) * 1.0) + " MB");
642         } catch (Exception e)
643         {
644           System.err.println("Exception when dealing with " + i
645                   + "'th argument: " + args[i] + "\n" + e);
646         }
647       }
648       else
649       {
650         System.err.println("Ignoring argument '" + args[i] + "' (" + i
651                 + "'th)- not a readable file.");
652       }
653       i++;
654     }
655   }
656
657   /**
658    * try to discover how to access the given file as a valid datasource that
659    * will be identified as the given type.
660    *
661    * @param file
662    * @param format
663    * @return protocol that yields the data parsable as the given type
664    */
665   public static String resolveProtocol(String file, String format)
666   {
667     return resolveProtocol(file, format, false);
668   }
669
670   public static String resolveProtocol(String file, String format,
671           boolean debug)
672   {
673     // TODO: test thoroughly!
674     String protocol = null;
675     if (debug)
676     {
677       System.out.println("resolving datasource started with:\n>>file\n"
678               + file + ">>endfile");
679     }
680
681     // This might throw a security exception in certain browsers
682     // Netscape Communicator for instance.
683     try
684     {
685       boolean rtn = false;
686       InputStream is = System.getSecurityManager().getClass()
687               .getResourceAsStream("/" + file);
688       if (is != null)
689       {
690         rtn = true;
691         is.close();
692       }
693       if (debug)
694       {
695         System.err.println("Resource '" + file + "' was "
696                 + (rtn ? "" : "not") + " located by classloader.");
697       }
698       ;
699       if (rtn)
700       {
701         protocol = AppletFormatAdapter.CLASSLOADER;
702       }
703
704     } catch (Exception ex)
705     {
706       System.err
707       .println("Exception checking resources: " + file + " " + ex);
708     }
709
710     if (file.indexOf("://") > -1)
711     {
712       protocol = AppletFormatAdapter.URL;
713     }
714     else
715     {
716       // skipping codebase prepend check.
717       protocol = AppletFormatAdapter.FILE;
718     }
719     FileParse fp = null;
720     try
721     {
722       if (debug)
723       {
724         System.out.println("Trying to get contents of resource as "
725                 + protocol + ":");
726       }
727       fp = new FileParse(file, protocol);
728       if (!fp.isValid())
729       {
730         fp = null;
731       }
732       else
733       {
734         if (debug)
735         {
736           System.out.println("Successful.");
737         }
738       }
739     } catch (Exception e)
740     {
741       if (debug)
742       {
743         System.err.println("Exception when accessing content: " + e);
744       }
745       fp = null;
746     }
747     if (fp == null)
748     {
749       if (debug)
750       {
751         System.out.println("Accessing as paste.");
752       }
753       protocol = AppletFormatAdapter.PASTE;
754       fp = null;
755       try
756       {
757         fp = new FileParse(file, protocol);
758         if (!fp.isValid())
759         {
760           fp = null;
761         }
762       } catch (Exception e)
763       {
764         System.err.println("Failed to access content as paste!");
765         e.printStackTrace();
766         fp = null;
767       }
768     }
769     if (fp == null)
770     {
771       return null;
772     }
773     if (format == null || format.length() == 0)
774     {
775       return protocol;
776     }
777     else
778     {
779       try
780       {
781         String idformat = new jalview.io.IdentifyFile().Identify(file,
782                 protocol);
783         if (idformat == null)
784         {
785           if (debug)
786           {
787             System.out.println("Format not identified. Inaccessible file.");
788           }
789           return null;
790         }
791         if (debug)
792         {
793           System.out.println("Format identified as " + idformat
794                   + "and expected as " + format);
795         }
796         if (idformat.equals(format))
797         {
798           if (debug)
799           {
800             System.out.println("Protocol identified as " + protocol);
801           }
802           return protocol;
803         }
804         else
805         {
806           if (debug)
807           {
808             System.out
809             .println("File deemed not accessible via " + protocol);
810           }
811           fp.close();
812           return null;
813         }
814       } catch (Exception e)
815       {
816         if (debug)
817         {
818           System.err.println("File deemed not accessible via " + protocol);
819           e.printStackTrace();
820         }
821         ;
822
823       }
824     }
825     return null;
826   }
827 }