JAL-3619 fix up error messages and try to bail quietly if the viewer doesn’t open
[jalview.git] / src / jalview / ext / rbvi / chimera / JalviewChimeraBinding.java
index 476a933..399bad9 100644 (file)
@@ -27,7 +27,6 @@ import java.io.PrintWriter;
 import java.net.BindException;
 import java.util.ArrayList;
 import java.util.Collections;
-import java.util.Iterator;
 import java.util.LinkedHashMap;
 import java.util.List;
 import java.util.Map;
@@ -37,9 +36,7 @@ import ext.edu.ucsf.rbvi.strucviz2.ChimeraModel;
 import ext.edu.ucsf.rbvi.strucviz2.StructureManager;
 import ext.edu.ucsf.rbvi.strucviz2.StructureManager.ModelType;
 import jalview.api.AlignmentViewPanel;
-import jalview.api.structures.JalviewStructureDisplayI;
-import jalview.bin.Cache;
-import jalview.datamodel.AlignmentI;
+import jalview.bin.Console;
 import jalview.datamodel.PDBEntry;
 import jalview.datamodel.SearchResultMatchI;
 import jalview.datamodel.SearchResultsI;
@@ -49,6 +46,7 @@ import jalview.gui.StructureViewer.ViewerType;
 import jalview.httpserver.AbstractRequestHandler;
 import jalview.io.DataSourceType;
 import jalview.structure.AtomSpec;
+import jalview.structure.AtomSpecModel;
 import jalview.structure.StructureCommand;
 import jalview.structure.StructureCommandI;
 import jalview.structure.StructureSelectionManager;
@@ -60,15 +58,6 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
 
   public static final String CHIMERA_FEATURE_GROUP = "Chimera";
 
-  // Chimera clause to exclude alternate locations in atom selection
-  private static final String NO_ALTLOCS = "&~@.B-Z&~@.2-9";
-
-  private static final boolean debug = false;
-
-  private static final String PHOSPHORUS = "P";
-
-  private static final String ALPHACARBON = "CA";
-
   /*
    * Object through which we talk to Chimera
    */
@@ -86,7 +75,15 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
 
   String lastHighlightCommand;
 
-  private Thread chimeraMonitor;
+  /**
+   * Returns a model of the structure positions described by the Chimera format atomspec
+   * @param atomSpec
+   * @return
+   */
+  protected  AtomSpec parseAtomSpec(String atomSpec)
+  {
+    return AtomSpec.fromChimeraAtomspec(atomSpec);
+  }
 
   /**
    * Open a PDB structure file in Chimera and set up mappings from Jalview.
@@ -182,9 +179,9 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
           DataSourceType protocol)
   {
     super(ssm, pdbentry, sequenceIs, protocol);
-    chimeraManager = new ChimeraManager(new StructureManager(true));
-    chimeraManager.setChimeraX(ViewerType.CHIMERAX.equals(getViewerType()));
-    setStructureCommands(new ChimeraCommands());
+    boolean chimeraX = ViewerType.CHIMERAX.equals(getViewerType());
+    chimeraManager = chimeraX ? new ChimeraXManager(new StructureManager(true)) : new ChimeraManager(new StructureManager(true));
+    setStructureCommands(chimeraX ? new ChimeraXCommands() : new ChimeraCommands());
   }
 
   @Override
@@ -194,37 +191,6 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   }
 
   /**
-   * Starts a thread that waits for the Chimera process to finish, so that we can
-   * then close the associated resources. This avoids leaving orphaned Chimera
-   * viewer panels in Jalview if the user closes Chimera.
-   */
-  protected void startChimeraProcessMonitor()
-  {
-    final Process p = chimeraManager.getChimeraProcess();
-    chimeraMonitor = new Thread(new Runnable()
-    {
-
-      @Override
-      public void run()
-      {
-        try
-        {
-          p.waitFor();
-          JalviewStructureDisplayI display = getViewer();
-          if (display != null)
-          {
-            display.closeViewer(false);
-          }
-        } catch (InterruptedException e)
-        {
-          // exit thread if Chimera Viewer is closed in Jalview
-        }
-      }
-    });
-    chimeraMonitor.start();
-  }
-
-  /**
    * Start a dedicated HttpServer to listen for Chimera notifications, and tell it
    * to start listening
    */
@@ -233,7 +199,7 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     try
     {
       chimeraListener = new ChimeraListener(this);
-      chimeraManager.startListening(chimeraListener.getUri());
+      startListening(chimeraListener.getUri());
     } catch (BindException e)
     {
       System.err.println(
@@ -245,25 +211,28 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
    * Close down the Jalview viewer and listener, and (optionally) the associated
    * Chimera window.
    */
+  @Override
   public void closeViewer(boolean closeChimera)
   {
-    getSsm().removeStructureViewerListener(this, this.getStructureFiles());
-    if (closeChimera)
-    {
-      chimeraManager.exitChimera();
-    }
+    super.closeViewer(closeChimera);
     if (this.chimeraListener != null)
     {
       chimeraListener.shutdown();
       chimeraListener = null;
     }
-    chimeraManager = null;
-
-    if (chimeraMonitor != null)
+    
+    /*
+     * the following call is added to avoid a stack trace error in Chimera
+     * after "stop really" is sent; Chimera > 1.14 will not need it; see also 
+     * http://plato.cgl.ucsf.edu/trac/chimera/ticket/17597
+     */
+    if (closeChimera && (getViewerType() == ViewerType.CHIMERA))
     {
-      chimeraMonitor.interrupt();
+      chimeraManager.getChimeraProcess().destroy();
     }
-    releaseUIResources();
+
+    chimeraManager.clearOnChimeraExit();
+    chimeraManager = null;
   }
 
   /**
@@ -314,7 +283,7 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     boolean launched = chimeraManager.launchChimera(getChimeraPaths());
     if (launched)
     {
-      startChimeraProcessMonitor();
+      startExternalViewerMonitor(chimeraManager.getChimeraProcess());
     }
     else
     {
@@ -339,9 +308,10 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
    * 
    * @return
    */
-  public boolean isChimeraRunning()
+  @Override
+  public boolean isViewerRunning()
   {
-    return chimeraManager.isChimeraLaunched();
+    return chimeraManager!=null && chimeraManager.isChimeraLaunched();
   }
 
   /**
@@ -367,9 +337,16 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     if (getResponse)
     {
       reply = lastReply;
-      if (debug)
+      if (Console.isDebugEnabled()) {
+        Console.debug(
+              "Response from command ('" + cmd + "') was:\n" + lastReply); 
+      }
+    }
+    else
+    {
+      if (Console.isDebugEnabled())
       {
-        log("Response from command ('" + cmd + "') was:\n" + lastReply);
+        Console.debug("Command executed: " + cmd);
       }
     }
 
@@ -448,19 +425,29 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     {
       return;
     }
-
+    if (!found)
+    {
+      // not a valid residue label command, so clear
+      cmd.setLength(0);
+    }
     /*
-     * unshow the label for the previous residue
+     * prepend with command
+     * to unshow the label for the previous residue
      */
     if (lastHighlightCommand != null)
     {
-      chimeraManager.sendChimeraCommand("~" + lastHighlightCommand, false);
+      cmd.insert(0, ";");
+      cmd.insert(0,lastHighlightCommand);
+      cmd.insert(0,"~");
+      
     }
-    if (found)
-    {
-      chimeraManager.sendChimeraCommand(command, false);
+    if (cmd.length()>0) {
+      executeCommand(true,  null,  new StructureCommand(cmd.toString()));
+    }
+    
+    if (found) {
+      this.lastHighlightCommand = command;
     }
-    this.lastHighlightCommand = command;
   }
 
   /**
@@ -471,24 +458,56 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     /*
      * Ask Chimera for its current selection
      */
-    List<String> selection = chimeraManager.getSelectedResidueSpecs();
+    StructureCommandI command = getCommandGenerator().getSelectedResidues();
+    
+    Runnable action = new Runnable()
+    {
+      @Override
+      public void run()
+      {
+        List<String> chimeraReply = executeCommand(command, true);
+        
+        List<String> selectedResidues = new ArrayList<>();
+        if (chimeraReply != null)
+        {
+          /*
+           * expect 0, 1 or more lines of the format either
+           * Chimera:
+           * residue id #0:43.A type GLY
+           * ChimeraX:
+           * residue id /A:89 name THR index 88
+           * We are only interested in the atomspec (third token of the reply)
+           */
+          for (String inputLine : chimeraReply)
+          {
+            String[] inputLineParts = inputLine.split("\\s+");
+            if (inputLineParts.length >= 5)
+            {
+              selectedResidues.add(inputLineParts[2]);
+            }
+          }
+        }
 
-    /*
-     * Parse model number, residue and chain for each selected position,
-     * formatted as #0:123.A or #1.2:87.B (#model.submodel:residue.chain)
-     */
-    List<AtomSpec> atomSpecs = convertStructureResiduesToAlignment(
-            selection);
+        /*
+         * Parse model number, residue and chain for each selected position,
+         * formatted as #0:123.A or #1.2:87.B (#model.submodel:residue.chain)
+         */
+        List<AtomSpec> atomSpecs = convertStructureResiduesToAlignment(
+                selectedResidues);
 
-    /*
-     * Broadcast the selection (which may be empty, if the user just cleared all
-     * selections)
-     */
-    getSsm().mouseOverStructure(atomSpecs);
+        /*
+         * Broadcast the selection (which may be empty, if the user just cleared all
+         * selections)
+         */
+        getSsm().mouseOverStructure(atomSpecs);
+        
+      }
+    };
+    new Thread(action).start();
   }
 
   /**
-   * Converts a list of Chimera atomspecs to a list of AtomSpec representing the
+   * Converts a list of Chimera(X) atomspecs to a list of AtomSpec representing the
    * corresponding residues (if any) in Jalview
    * 
    * @param structureSelection
@@ -497,19 +516,18 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   protected List<AtomSpec> convertStructureResiduesToAlignment(
           List<String> structureSelection)
   {
-    boolean chimeraX = chimeraManager.isChimeraX();
     List<AtomSpec> atomSpecs = new ArrayList<>();
     for (String atomSpec : structureSelection)
     {
       try
       {
-        AtomSpec spec = AtomSpec.fromChimeraAtomspec(atomSpec, chimeraX);
+        AtomSpec spec = parseAtomSpec(atomSpec);
         String pdbfilename = getPdbFileForModel(spec.getModelNumber());
         spec.setPdbFile(pdbfilename);
         atomSpecs.add(spec);
       } catch (IllegalArgumentException e)
       {
-        System.err.println("Failed to parse atomspec: " + atomSpec);
+        Console.error("Failed to parse atomspec: " + atomSpec);
       }
     }
     return atomSpecs;
@@ -545,86 +563,12 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   }
 
   /**
-   * Ask Chimera to save its session to the given file. Returns true if
-   * successful, else false.
-   * 
-   * @param filepath
-   * @return
-   */
-  public boolean saveSession(String filepath)
-  {
-    if (isChimeraRunning())
-    {
-      /*
-       * Chimera:  https://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/midas/save.html
-       * ChimeraX: https://www.cgl.ucsf.edu/chimerax/docs/user/commands/save.html
-       */
-      String command = getCommandGenerator().saveSession(filepath)
-              .getCommand();
-      List<String> reply = chimeraManager.sendChimeraCommand(command, true);
-      if (reply.contains("Session written"))
-      {
-        return true;
-      }
-      else
-      {
-        Cache.log
-                .error("Error saving Chimera session: " + reply.toString());
-      }
-    }
-    return false;
-  }
-
-  /**
-   * Ask Chimera to open a session file. Returns true if successful, else false.
-   * The filename must have a .py (Chimera) or .cxs (ChimeraX) extension for
-   * this command to work.
-   * 
-   * @param filepath
-   * @return
-   */
-  public boolean openSession(String filepath)
-  {
-    /*
-     * Chimera:  https://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/midas/open.html
-     * ChimeraX: https://www.cgl.ucsf.edu/chimerax/docs/user/commands/open.html
-     */
-    executeCommand(getCommandGenerator().loadFile(filepath), true);
-    // todo: test for failure - how?
-    return true;
-  }
-
-  /**
-   * Send a 'show' command for all atoms in the currently selected columns
-   * 
-   * TODO: pull up to abstract structure viewer interface
-   * 
-   * @param vp
-   */
-  public void highlightSelection(AlignmentViewPanel vp)
-  {
-    List<Integer> cols = vp.getAlignViewport().getColumnSelection()
-            .getSelected();
-    AlignmentI alignment = vp.getAlignment();
-    StructureSelectionManager sm = getSsm();
-    for (SequenceI seq : alignment.getSequences())
-    {
-      /*
-       * convert selected columns into sequence positions
-       */
-      int[] positions = new int[cols.size()];
-      int i = 0;
-      for (Integer col : cols)
-      {
-        positions[i++] = seq.findPosition(col);
-      }
-      sm.highlightStructure(this, seq, positions);
-    }
-  }
-
-  /**
    * Constructs and send commands to Chimera to set attributes on residues for
-   * features visible in Jalview
+   * features visible in Jalview.
+   * <p>
+   * The syntax is: setattr r &lt;attName&gt; &lt;attValue&gt; &lt;atomSpec&gt;
+   * <p>
+   * For example: setattr r jv_chain "Ferredoxin-1, Chloroplastic" #0:94.A
    * 
    * @param avp
    * @return
@@ -632,24 +576,18 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   public int sendFeaturesToViewer(AlignmentViewPanel avp)
   {
     // TODO refactor as required to pull up to an interface
-    String[] files = getStructureFiles();
-    if (files == null)
-    {
-      return 0;
-    }
 
+    Map<String, Map<Object, AtomSpecModel>> featureValues = buildFeaturesMap(
+            avp);
     List<StructureCommandI> commands = getCommandGenerator()
-            .setAttributesForFeatures(getSsm(), files, getSequence(), avp);
+            .setAttributes(featureValues);
     if (commands.size() > 10)
     {
       sendCommandsByFile(commands);
     }
     else
     {
-      for (StructureCommandI command : commands)
-      {
-        sendAsynchronousCommand(command, null);
-      }
+      executeCommands(commands, false, null);
     }
     return commands.size();
   }
@@ -677,7 +615,7 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
       String path = tmp.getAbsolutePath();
       StructureCommandI command = getCommandGenerator()
               .openCommandFile(path);
-      sendAsynchronousCommand(command, null);
+      executeCommand(false, null, command);
     } catch (IOException e)
     {
       System.err.println("Sending commands to Chimera via file failed with "
@@ -696,36 +634,6 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   }
 
   /**
-   * Get Chimera residues which have the named attribute, find the mapped
-   * positions in the Jalview sequence(s), and set as sequence features
-   * 
-   * @param attName
-   * @param alignmentPanel
-   */
-  public void copyStructureAttributesToFeatures(String attName,
-          AlignmentViewPanel alignmentPanel)
-  {
-    // todo pull up to AAStructureBindingModel (and interface?)
-
-    /*
-     * ask Chimera to list residues with the attribute, reporting its value
-     */
-    // this alternative command
-    // list residues spec ':*/attName' attr attName
-    // doesn't report 'None' values (which is good), but
-    // fails for 'average.bfactor' (which is bad):
-
-    String cmd = "list residues attr '" + attName + "'";
-    List<String> residues = executeCommand(new StructureCommand(cmd), true);
-
-    boolean featureAdded = createFeaturesForAttributes(attName, residues);
-    if (featureAdded)
-    {
-      alignmentPanel.getFeatureRenderer().featuresAdded();
-    }
-  }
-
-  /**
    * Create features in Jalview for the given attribute name and structure
    * residues.
    * 
@@ -738,14 +646,13 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
    * 
    * @param attName
    * @param residues
-   * @return
+   * @return the number of features added
    */
-  protected boolean createFeaturesForAttributes(String attName,
+  protected int createFeaturesForAttributes(String attName,
           List<String> residues)
   {
-    boolean featureAdded = false;
+    int featuresAdded = 0;
     String featureGroup = getViewerFeatureGroup();
-    boolean chimeraX = chimeraManager.isChimeraX();
 
     for (String residue : residues)
     {
@@ -769,10 +676,10 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
 
       try
       {
-        spec = AtomSpec.fromChimeraAtomspec(atomSpec, chimeraX);
+        spec = parseAtomSpec(atomSpec);
       } catch (IllegalArgumentException e)
       {
-        System.err.println("Problem parsing atomspec " + atomSpec);
+        Console.error("Problem parsing atomspec " + atomSpec);
         continue;
       }
 
@@ -812,10 +719,13 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
                 start, end, score, featureGroup);
         // todo: should SequenceFeature have an explicit property for chain?
         // note: repeating the action shouldn't duplicate features
-        featureAdded |= seq.addSequenceFeature(sf);
+        if (seq.addSequenceFeature(sf))
+        {
+          featuresAdded++;
+        }
       }
     }
-    return featureAdded;
+    return featuresAdded;
   }
 
   /**
@@ -849,19 +759,28 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
    */
   public List<String> getChimeraAttributes()
   {
-    List<String> atts = chimeraManager.getAttrList();
-    Iterator<String> it = atts.iterator();
-    while (it.hasNext())
+    List<String> attributes = new ArrayList<>();
+    StructureCommandI command = getCommandGenerator().listResidueAttributes();
+    final List<String> reply = executeCommand(command, true);
+    if (reply != null)
     {
-      if (it.next().startsWith(ChimeraCommands.NAMESPACE_PREFIX))
+      for (String inputLine : reply)
       {
-        /*
-         * attribute added from Jalview - exclude it
-         */
-        it.remove();
+        String[] lineParts = inputLine.split("\\s");
+        if (lineParts.length == 2 && lineParts[0].equals("resattr"))
+        {
+          String attName = lineParts[1];
+          /*
+           * exclude attributes added from Jalview
+           */
+          if (!attName.startsWith(ChimeraCommands.NAMESPACE_PREFIX))
+          {
+            attributes.add(attName);
+          }
+        }
       }
     }
-    return atts;
+    return attributes;
   }
 
   /**
@@ -875,6 +794,7 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     return CHIMERA_SESSION_EXTENSION;
   }
 
+  @Override
   public String getHelpURL()
   {
     return "https://www.cgl.ucsf.edu/chimera/docs/UsersGuide";