JAL-4285 Better checkFiles processing. Better dialog.
[jalview.git] / src / jalview / bin / Commands.java
index 17a1af2..ba72831 100644 (file)
@@ -6,7 +6,6 @@ import java.net.URISyntaxException;
 import java.util.ArrayList;
 import java.util.Arrays;
 import java.util.Collections;
-import java.util.EnumSet;
 import java.util.HashMap;
 import java.util.Iterator;
 import java.util.List;
@@ -15,6 +14,7 @@ import java.util.Map;
 
 import jalview.analysis.AlignmentUtils;
 import jalview.api.structures.JalviewStructureDisplayI;
+import jalview.bin.Jalview.ExitCode;
 import jalview.bin.argparser.Arg;
 import jalview.bin.argparser.ArgParser;
 import jalview.bin.argparser.ArgParser.Position;
@@ -67,10 +67,14 @@ public class Commands
 
   private Map<String, AlignFrame> afMap;
 
+  private Map<String, List<StructureViewer>> svMap;
+
   private boolean commandArgsProvided = false;
 
   private boolean argsWereParsed = false;
 
+  private List<String> errors = new ArrayList<>();
+
   public Commands(ArgParser argparser, boolean headless)
   {
     this(Desktop.instance, argparser, headless);
@@ -82,16 +86,15 @@ public class Commands
     headless = h;
     desktop = d;
     afMap = new HashMap<>();
-    if (argparser != null)
-    {
-      processArgs(argparser, headless);
-    }
   }
 
-  private boolean processArgs(ArgParser argparser, boolean h)
+  protected boolean processArgs()
   {
-    argParser = argparser;
-    headless = h;
+    if (argParser == null)
+    {
+      return true;
+    }
+
     boolean theseArgsWereParsed = false;
 
     if (argParser != null && argParser.getLinkedIds() != null)
@@ -100,9 +103,10 @@ public class Commands
       {
         ArgValuesMap avm = argParser.getLinkedArgs(id);
         theseArgsWereParsed = true;
-        theseArgsWereParsed &= processLinked(id);
+        boolean processLinkedOkay = processLinked(id);
+        theseArgsWereParsed &= processLinkedOkay;
+
         processGroovyScript(id);
-        boolean processLinkedOkay = theseArgsWereParsed;
 
         // wait around until alignFrame isn't busy
         AlignFrame af = afMap.get(id);
@@ -118,8 +122,11 @@ public class Commands
         }
 
         theseArgsWereParsed &= processImages(id);
+
         if (processLinkedOkay)
+        {
           theseArgsWereParsed &= processOutput(id);
+        }
 
         // close ap
         if (avm.getBoolean(Arg.CLOSE))
@@ -134,9 +141,18 @@ public class Commands
       }
 
     }
+
+    // report errors
+    Console.warn(
+            "The following errors and warnings occurred whilst processing files:\n"
+                    + errorsToString());
+    // gui errors reported in Jalview
+
     if (argParser.getBoolean(Arg.QUIT))
     {
-      Jalview.getInstance().quit();
+      Jalview.getInstance().exit(
+              "Exiting due to " + Arg.QUIT.argString() + " argument.",
+              ExitCode.OK);
       return true;
     }
     // carry on with jalview.bin.Jalview
@@ -154,25 +170,20 @@ public class Commands
     return argsWereParsed;
   }
 
-  protected boolean processUnlinked(String id)
-  {
-    return processLinked(id);
-  }
-
   protected boolean processLinked(String id)
   {
     boolean theseArgsWereParsed = false;
     ArgValuesMap avm = argParser.getLinkedArgs(id);
     if (avm == null)
+    {
       return true;
+    }
+
+    Boolean isError = Boolean.valueOf(false);
+
+    // set wrap scope here so it can be applied after structures are opened
+    boolean wrap = false;
 
-    /*
-     * // script to execute after all loading is completed one way or another String
-     * groovyscript = m.get(Arg.GROOVY) == null ? null :
-     * m.get(Arg.GROOVY).getValue(); String file = m.get(Arg.OPEN) == null ? null :
-     * m.get(Arg.OPEN).getValue(); String data = null; FileFormatI format = null;
-     * DataSourceType protocol = null;
-     */
     if (avm.containsArg(Arg.APPEND) || avm.containsArg(Arg.OPEN))
     {
       commandArgsProvided = true;
@@ -221,7 +232,9 @@ public class Commands
           {
             if (!(new File(openFile)).exists())
             {
-              Console.warn("Can't find file '" + openFile + "'");
+              addError("Can't find file '" + openFile + "'");
+              isError = true;
+              continue;
             }
           }
         }
@@ -235,7 +248,9 @@ public class Commands
           format = new IdentifyFile().identify(openFile, protocol);
         } catch (FileFormatException e1)
         {
-          Console.error("Unknown file format for '" + openFile + "'");
+          addError("Unknown file format for '" + openFile + "'");
+          isError = true;
+          continue;
         }
 
         af = afMap.get(id);
@@ -252,14 +267,28 @@ public class Commands
           Console.debug(
                   "Opening '" + openFile + "' in new alignment frame");
           FileLoader fileLoader = new FileLoader(!headless);
-
-          af = fileLoader.LoadFileWaitTillLoaded(openFile, protocol,
-                  format);
-
-          // wrap alignment?
-          boolean wrap = ArgParser.getFromSubValArgOrPref(avm, Arg.WRAP, sv,
-                  null, "WRAP_ALIGNMENT", false);
-          af.getCurrentView().setWrapAlignment(wrap);
+          boolean xception = false;
+          try
+          {
+            af = fileLoader.LoadFileWaitTillLoaded(openFile, protocol,
+                    format);
+          } catch (Throwable thr)
+          {
+            xception = true;
+            addError("Couldn't open '" + openFile + "' as " + format + " "
+                    + thr.getLocalizedMessage()
+                    + " (Enable debug for full stack trace)");
+            isError = true;
+            Console.debug("Exception when opening '" + openFile + "'", thr);
+          } finally
+          {
+            if (af == null && !xception)
+            {
+              addInfo("Ignoring '" + openFile
+                      + "' - no alignment data found.");
+              continue;
+            }
+          }
 
           // colour alignment?
           String colour = ArgParser.getFromSubValArgOrPref(avm, av,
@@ -272,8 +301,7 @@ public class Commands
 
             if (cs == null && !"None".equals(colour))
             {
-              Console.warn(
-                      "Couldn't parse '" + colour + "' as a colourscheme.");
+              addWarn("Couldn't parse '" + colour + "' as a colourscheme.");
             }
             else
             {
@@ -337,7 +365,8 @@ public class Commands
                       "examples/testdata/uniref50_test_tree", treefile);
             } catch (IOException e)
             {
-              Console.warn("Couldn't add tree " + treefile, e);
+              addError("Couldn't add tree " + treefile, e);
+              isError = true;
             }
           }
 
@@ -365,6 +394,12 @@ public class Commands
                     false, false);
           }
 
+          // wrap alignment? do this last for formatting reasons
+          wrap = ArgParser.getFromSubValArgOrPref(avm, Arg.WRAP, sv, null,
+                  "WRAP_ALIGNMENT", false);
+          // af.setWrapFormat(wrap) is applied after structures are opened for
+          // annotation reasons
+
           // store the AlignFrame for this id
           afMap.put(id, af);
 
@@ -397,11 +432,12 @@ public class Commands
       {
         if (headless)
         {
-          Jalview.exit("Could not open any files in headless mode", 1);
+          Jalview.exit("Could not open any files in headless mode",
+                  ExitCode.NO_FILES);
         }
         else
         {
-          Console.warn("No more files to open");
+          Console.info("No more files to open");
         }
       }
       if (progressBarSet && desktop != null)
@@ -431,10 +467,8 @@ public class Commands
 
           if (seq == null)
           {
-            Console.warn("Could not find sequence for argument "
+            addWarn("Could not find sequence for argument "
                     + Arg.STRUCTURE.argString() + "=" + val);
-            // you probably want to continue here, not break
-            // break;
             continue;
           }
           File structureFile = null;
@@ -467,14 +501,14 @@ public class Commands
 
           if (structureFile == null)
           {
-            Console.warn("Not provided structure file with '" + val + "'");
+            addWarn("Not provided structure file with '" + val + "'");
             continue;
           }
 
           if (!structureFile.exists())
           {
-            Console.warn("Structure file '"
-                    + structureFile.getAbsoluteFile() + "' not found.");
+            addWarn("Structure file '" + structureFile.getAbsoluteFile()
+                    + "' not found.");
             continue;
           }
 
@@ -506,7 +540,7 @@ public class Commands
             } catch (IOException e)
             {
               paeFilepath = paeFile.getAbsolutePath();
-              Console.warn("Problem with the PAE file path: '"
+              addWarn("Problem with the PAE file path: '"
                       + paeFile.getPath() + "'");
             }
           }
@@ -549,27 +583,14 @@ public class Commands
                 if (it.hasNext())
                   sb.append(", ");
               }
-              Console.warn(sb.toString());
+              addWarn(sb.toString());
             }
           }
 
           String sViewer = ArgParser.getFromSubValArgOrPref(avm,
                   Arg.STRUCTUREVIEWER, Position.AFTER, av, subVals, null,
                   null, "jmol");
-          ViewerType viewerType = null;
-          if (!"none".equals(sViewer))
-          {
-            for (ViewerType v : EnumSet.allOf(ViewerType.class))
-            {
-              String name = v.name().toLowerCase(Locale.ROOT)
-                      .replaceAll(" ", "");
-              if (sViewer.equals(name))
-              {
-                viewerType = v;
-                break;
-              }
-            }
-          }
+          ViewerType viewerType = ViewerType.getFromString(sViewer);
 
           // TODO use ssFromStructure
           StructureViewer sv = StructureChooser
@@ -579,7 +600,8 @@ public class Commands
 
           if (sv == null)
           {
-            Console.error("Failed to import and open structure view.");
+            addError("Failed to import and open structure view for file '"
+                    + structureFile + "'.");
             continue;
           }
           try
@@ -597,14 +619,28 @@ public class Commands
             }
             if (tries == 0 && sv.isBusy())
             {
-              Console.warn(
-                      "Gave up waiting for structure viewer to load. Something may have gone wrong.");
+              addWarn("Gave up waiting for structure viewer to load file '"
+                      + structureFile
+                      + "'. Something may have gone wrong.");
             }
           } catch (Exception x)
           {
-            Console.warn("Exception whilst waiting for structure viewer "
+            addError("Exception whilst waiting for structure viewer "
                     + structureFilepath, x);
+            isError = true;
           }
+
+          // add StructureViewer to svMap list
+          if (svMap == null)
+          {
+            svMap = new HashMap<>();
+          }
+          if (svMap.get(id) == null)
+          {
+            svMap.put(id, new ArrayList<>());
+          }
+          svMap.get(id).add(sv);
+
           Console.debug(
                   "Successfully opened viewer for " + structureFilepath);
           String structureImageFilename = ArgParser.getValueFromSubValOrArg(
@@ -640,7 +676,7 @@ public class Commands
                       typeS.toUpperCase(Locale.ROOT));
             } catch (IllegalArgumentException e)
             {
-              Console.warn("Do not know image format '" + typeS
+              addWarn("Do not know image format '" + typeS
                       + "', using PNG");
               imageType = TYPE.PNG;
             }
@@ -650,14 +686,6 @@ public class Commands
             switch (StructureViewer.getViewerType())
             {
             case JMOL:
-              try
-              {
-                Thread.sleep(1000); // WHY ???
-              } catch (InterruptedException e)
-              {
-                // TODO Auto-generated catch block
-                e.printStackTrace();
-              }
               JalviewStructureDisplayI sview = sv
                       .getJalviewStructureDisplay();
               if (sview instanceof AppJmol)
@@ -665,6 +693,14 @@ public class Commands
                 AppJmol jmol = (AppJmol) sview;
                 try
                 {
+                  boolean success = this.checksBeforeWritingToFile(avm,
+                          subVals, false, structureImageFilename,
+                          "structure image", isError);
+                  if (!success)
+                  {
+                    continue;
+                  }
+
                   Console.debug("Rendering image to " + structureImageFile);
                   jmol.makePDBImage(structureImageFile, imageType, renderer,
                           userBis);
@@ -673,22 +709,33 @@ public class Commands
 
                 } catch (ImageOutputException ioexc)
                 {
-                  Console.warn("Unexpected error whilst exporting image to "
+                  addError("Unexpected error whilst exporting image to "
                           + structureImageFile, ioexc);
+                  isError = true;
+                  continue;
                 }
 
               }
               break;
             default:
-              Console.warn("Cannot export image for structure viewer "
+              addWarn("Cannot export image for structure viewer "
                       + sv.getViewerType() + " yet");
-              break;
+              continue;
             }
           }
         }
       }
     }
 
+    if (wrap)
+    {
+      AlignFrame af = afMap.get(id);
+      if (af != null)
+      {
+        af.setWrapFormat(wrap, true);
+      }
+    }
+
     /*
     boolean doShading = avm.getBoolean(Arg.TEMPFAC_SHADING);
     if (doShading)
@@ -706,7 +753,7 @@ public class Commands
     }
     */
 
-    return theseArgsWereParsed;
+    return theseArgsWereParsed && !isError;
   }
 
   protected void processGroovyScript(String id)
@@ -716,7 +763,7 @@ public class Commands
 
     if (af == null)
     {
-      Console.warn("Did not have an alignment window for id=" + id);
+      addWarn("Did not have an alignment window for id=" + id);
       return;
     }
 
@@ -740,10 +787,11 @@ public class Commands
 
     if (af == null)
     {
-      Console.warn("Did not have an alignment window for id=" + id);
+      addWarn("Did not have an alignment window for id=" + id);
       return false;
     }
 
+    Boolean isError = Boolean.valueOf(false);
     if (avm.containsArg(Arg.IMAGE))
     {
       for (ArgValue av : avm.getArgValueList(Arg.IMAGE))
@@ -784,6 +832,14 @@ public class Commands
         Cache.setProperty("EXPORT_EMBBED_BIOJSON", "false");
 
         Console.info("Writing " + file);
+
+        boolean success = checksBeforeWritingToFile(avm, subVal, false,
+                fileName, "image", isError);
+        if (!success)
+        {
+          continue;
+        }
+
         try
         {
           switch (type)
@@ -807,7 +863,7 @@ public class Commands
 
           case "biojs":
             Console.debug(
-                    "Creating BioJS MSA Viwer HTML file: " + fileName);
+                    "Outputting BioJS MSA Viwer HTML file: " + fileName);
             try
             {
               BioJsHTMLOutput.refreshVersionInfo(
@@ -821,27 +877,29 @@ public class Commands
             break;
 
           case "eps":
-            Console.debug("Creating EPS file: " + fileName);
-            af.createEPS(file, name);
+            Console.debug("Outputting EPS file: " + fileName);
+            af.createEPS(file, renderer);
             break;
 
           case "imagemap":
-            Console.debug("Creating ImageMap file: " + fileName);
+            Console.debug("Outputting ImageMap file: " + fileName);
             af.createImageMap(file, name);
             break;
 
           default:
-            Console.warn(Arg.IMAGE.argString() + " type '" + type
+            addWarn(Arg.IMAGE.argString() + " type '" + type
                     + "' not known. Ignoring");
             break;
           }
         } catch (Exception ioex)
         {
-          Console.warn("Unexpected error during export", ioex);
+          addError("Unexpected error during export to '" + fileName + "'",
+                  ioex);
+          isError = true;
         }
       }
     }
-    return true;
+    return !isError;
   }
 
   protected boolean processOutput(String id)
@@ -851,10 +909,12 @@ public class Commands
 
     if (af == null)
     {
-      Console.warn("Did not have an alignment window for id=" + id);
+      addWarn("Did not have an alignment window for id=" + id);
       return false;
     }
 
+    Boolean isError = Boolean.valueOf(false);
+
     if (avm.containsArg(Arg.OUTPUT))
     {
       for (ArgValue av : avm.getArgValueList(Arg.OUTPUT))
@@ -864,24 +924,6 @@ public class Commands
         String fileName = subVals.getContent();
         boolean stdout = ArgParser.STDOUTFILENAME.equals(fileName);
         File file = new File(fileName);
-        boolean overwrite = ArgParser.getFromSubValArgOrPref(avm,
-                Arg.OVERWRITE, subVals, null, "OVERWRITE_OUTPUT", false);
-        // backups. Use the Arg.BACKUPS or subval "backups" setting first,
-        // otherwise if headless assume false, if not headless use the user
-        // preference with default true.
-        boolean backups = ArgParser.getFromSubValArgOrPref(avm, Arg.BACKUPS,
-                subVals, null,
-                Platform.isHeadless() ? null : BackupFiles.ENABLED,
-                !Platform.isHeadless());
-
-        // if backups is not true then --overwrite must be specified
-        if (file.exists() && !(overwrite || backups || stdout))
-        {
-          Console.error("Won't overwrite file '" + fileName + "' without "
-                  + Arg.OVERWRITE.argString() + " or "
-                  + Arg.BACKUPS.argString() + " set");
-          return false;
-        }
 
         String name = af.getName();
         String format = ArgParser.getValueFromSubValOrArg(avm, av,
@@ -931,41 +973,44 @@ public class Commands
               validSB.append(")");
             }
 
-            Jalview.exit("No valid format specified for "
+            addError("No valid format specified for "
                     + Arg.OUTPUT.argString() + ". Valid formats are "
-                    + validSB.toString() + ".", 1);
-            // this return really shouldn't happen
-            return false;
+                    + validSB.toString() + ".");
+            continue;
           }
         }
 
-        String savedBackupsPreference = Cache
-                .getDefault(BackupFiles.ENABLED, null);
-        Console.debug("Setting backups to " + backups);
-        Cache.applicationProperties.put(BackupFiles.ENABLED,
-                Boolean.toString(backups));
+        boolean success = checksBeforeWritingToFile(avm, subVals, true,
+                fileName, ff.getName(), isError);
+        if (!success)
+        {
+          continue;
+        }
+
+        boolean backups = ArgParser.getFromSubValArgOrPref(avm, Arg.BACKUPS,
+                subVals, null,
+                Platform.isHeadless() ? null : BackupFiles.ENABLED,
+                !Platform.isHeadless());
 
         Console.info("Writing " + fileName);
 
-        af.saveAlignment(fileName, ff, stdout);
-        Console.debug("Returning backups to " + savedBackupsPreference);
-        if (savedBackupsPreference != null)
-          Cache.applicationProperties.put(BackupFiles.ENABLED,
-                  savedBackupsPreference);
+        af.saveAlignment(fileName, ff, stdout, backups);
         if (af.isSaveAlignmentSuccessful())
         {
           Console.debug("Written alignment '" + name + "' in "
-                  + ff.getName() + " format to " + file);
+                  + ff.getName() + " format to '" + file + "'");
         }
         else
         {
-          Console.warn("Error writing file " + file + " in " + ff.getName()
+          addError("Error writing file '" + file + "' in " + ff.getName()
                   + " format!");
+          isError = true;
+          continue;
         }
 
       }
     }
-    return true;
+    return !isError;
   }
 
   private SequenceI getSpecifiedSequence(AlignFrame af, ArgValuesMap avm,
@@ -997,10 +1042,125 @@ public class Commands
         seq = al.getSequenceAt(subVals.getIndex());
       }
     }
-    else if (idAv != null)
+    if (seq == null && idAv != null)
     {
       seq = al.findName(idAv.getValue());
     }
     return seq;
   }
+
+  public AlignFrame[] getAlignFrames()
+  {
+    AlignFrame[] afs = null;
+    if (afMap != null)
+    {
+      afs = (AlignFrame[]) afMap.values().toArray();
+    }
+
+    return afs;
+  }
+
+  public List<StructureViewer> getStructureViewers()
+  {
+    List<StructureViewer> svs = null;
+    if (svMap != null)
+    {
+      for (List<StructureViewer> svList : svMap.values())
+      {
+        if (svs == null)
+        {
+          svs = new ArrayList<>();
+        }
+        svs.addAll(svList);
+      }
+    }
+    return svs;
+  }
+
+  private void addInfo(String errorMessage)
+  {
+    Console.info(errorMessage);
+    errors.add(errorMessage);
+  }
+
+  private void addWarn(String errorMessage)
+  {
+    Console.warn(errorMessage);
+    errors.add(errorMessage);
+  }
+
+  private void addError(String errorMessage)
+  {
+    addError(errorMessage, null);
+  }
+
+  private void addError(String errorMessage, Exception e)
+  {
+    Console.error(errorMessage, e);
+    errors.add(errorMessage);
+  }
+
+  private boolean checksBeforeWritingToFile(ArgValuesMap avm,
+          SubVals subVal, boolean includeBackups, String filename,
+          String adjective, Boolean isError)
+  {
+    File file = new File(filename);
+
+    boolean overwrite = ArgParser.getFromSubValArgOrPref(avm, Arg.OVERWRITE,
+            subVal, null, "OVERWRITE_OUTPUT", false);
+    boolean stdout = false;
+    boolean backups = false;
+    if (includeBackups)
+    {
+      stdout = ArgParser.STDOUTFILENAME.equals(filename);
+      // backups. Use the Arg.BACKUPS or subval "backups" setting first,
+      // otherwise if headless assume false, if not headless use the user
+      // preference with default true.
+      backups = ArgParser.getFromSubValArgOrPref(avm, Arg.BACKUPS, subVal,
+              null, Platform.isHeadless() ? null : BackupFiles.ENABLED,
+              !Platform.isHeadless());
+    }
+
+    if (file.exists() && !(overwrite || backups || stdout))
+    {
+      addWarn("Won't overwrite file '" + filename + "' without "
+              + Arg.OVERWRITE.argString()
+              + (includeBackups ? " or " + Arg.BACKUPS.argString() : "")
+              + " set");
+      return false;
+    }
+
+    boolean mkdirs = ArgParser.getFromSubValArgOrPref(avm, Arg.MKDIRS,
+            subVal, null, "MKDIRS_OUTPUT", false);
+
+    if (!FileUtils.checkParentDir(file, mkdirs))
+    {
+      addError("Directory '"
+              + FileUtils.getParentDir(file).getAbsolutePath()
+              + "' does not exist for " + adjective + " file '" + filename
+              + "'."
+              + (mkdirs ? "" : "  Try using " + Arg.MKDIRS.argString()));
+      isError = true;
+      return false;
+    }
+
+    return true;
+  }
+
+  public List<String> getErrors()
+  {
+    return errors;
+  }
+
+  public String errorsToString()
+  {
+    StringBuilder sb = new StringBuilder();
+    for (String error : errors)
+    {
+      if (sb.length() > 0)
+        sb.append("\n");
+      sb.append("- " + error);
+    }
+    return sb.toString();
+  }
 }