Merge branch 'releases/Release_2_11_3_Branch'
[jalview.git] / src / jalview / ext / rbvi / chimera / JalviewChimeraBinding.java
index d1b8583..a82eecb 100644 (file)
@@ -27,7 +27,6 @@ import java.io.PrintWriter;
 import java.net.BindException;
 import java.util.ArrayList;
 import java.util.Collections;
-import java.util.Iterator;
 import java.util.LinkedHashMap;
 import java.util.List;
 import java.util.Map;
@@ -37,9 +36,7 @@ import ext.edu.ucsf.rbvi.strucviz2.ChimeraModel;
 import ext.edu.ucsf.rbvi.strucviz2.StructureManager;
 import ext.edu.ucsf.rbvi.strucviz2.StructureManager.ModelType;
 import jalview.api.AlignmentViewPanel;
-import jalview.api.structures.JalviewStructureDisplayI;
-import jalview.bin.Cache;
-import jalview.datamodel.AlignmentI;
+import jalview.bin.Console;
 import jalview.datamodel.PDBEntry;
 import jalview.datamodel.SearchResultMatchI;
 import jalview.datamodel.SearchResultsI;
@@ -78,13 +75,23 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
 
   String lastHighlightCommand;
 
-  private Thread chimeraMonitor;
+  /**
+   * Returns a model of the structure positions described by the Chimera format
+   * atomspec
+   * 
+   * @param atomSpec
+   * @return
+   */
+  protected AtomSpec parseAtomSpec(String atomSpec)
+  {
+    return AtomSpec.fromChimeraAtomspec(atomSpec);
+  }
 
   /**
    * Open a PDB structure file in Chimera and set up mappings from Jalview.
    * 
-   * We check if the PDB model id is already loaded in Chimera, if so don't reopen
-   * it. This is the case if Chimera has opened a saved session file.
+   * We check if the PDB model id is already loaded in Chimera, if so don't
+   * reopen it. This is the case if Chimera has opened a saved session file.
    * 
    * @param pe
    * @return
@@ -174,9 +181,12 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
           DataSourceType protocol)
   {
     super(ssm, pdbentry, sequenceIs, protocol);
-    chimeraManager = new ChimeraManager(new StructureManager(true));
-    chimeraManager.setChimeraX(ViewerType.CHIMERAX.equals(getViewerType()));
-    setStructureCommands(new ChimeraCommands());
+    boolean chimeraX = ViewerType.CHIMERAX.equals(getViewerType());
+    chimeraManager = chimeraX
+            ? new ChimeraXManager(new StructureManager(true))
+            : new ChimeraManager(new StructureManager(true));
+    setStructureCommands(
+            chimeraX ? new ChimeraXCommands() : new ChimeraCommands());
   }
 
   @Override
@@ -186,49 +196,18 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   }
 
   /**
-   * Starts a thread that waits for the Chimera process to finish, so that we can
-   * then close the associated resources. This avoids leaving orphaned Chimera
-   * viewer panels in Jalview if the user closes Chimera.
-   */
-  protected void startChimeraProcessMonitor()
-  {
-    final Process p = chimeraManager.getChimeraProcess();
-    chimeraMonitor = new Thread(new Runnable()
-    {
-
-      @Override
-      public void run()
-      {
-        try
-        {
-          p.waitFor();
-          JalviewStructureDisplayI display = getViewer();
-          if (display != null)
-          {
-            display.closeViewer(false);
-          }
-        } catch (InterruptedException e)
-        {
-          // exit thread if Chimera Viewer is closed in Jalview
-        }
-      }
-    });
-    chimeraMonitor.start();
-  }
-
-  /**
-   * Start a dedicated HttpServer to listen for Chimera notifications, and tell it
-   * to start listening
+   * Start a dedicated HttpServer to listen for Chimera notifications, and tell
+   * it to start listening
    */
   public void startChimeraListener()
   {
     try
     {
       chimeraListener = new ChimeraListener(this);
-      chimeraManager.startListening(chimeraListener.getUri());
+      startListening(chimeraListener.getUri());
     } catch (BindException e)
     {
-      System.err.println(
+      jalview.bin.Console.errPrintln(
               "Failed to start Chimera listener: " + e.getMessage());
     }
   }
@@ -241,21 +220,24 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   public void closeViewer(boolean closeChimera)
   {
     super.closeViewer(closeChimera);
-    if (closeChimera)
-    {
-      chimeraManager.exitChimera();
-    }
     if (this.chimeraListener != null)
     {
       chimeraListener.shutdown();
       chimeraListener = null;
     }
-    chimeraManager = null;
 
-    if (chimeraMonitor != null)
+    /*
+     * the following call is added to avoid a stack trace error in Chimera
+     * after "stop really" is sent; Chimera > 1.14 will not need it; see also 
+     * http://plato.cgl.ucsf.edu/trac/chimera/ticket/17597
+     */
+    if (closeChimera && (getViewerType() == ViewerType.CHIMERA))
     {
-      chimeraMonitor.interrupt();
+      chimeraManager.getChimeraProcess().destroy();
     }
+
+    chimeraManager.clearOnChimeraExit();
+    chimeraManager = null;
   }
 
   /**
@@ -306,7 +288,7 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     boolean launched = chimeraManager.launchChimera(getChimeraPaths());
     if (launched)
     {
-      startChimeraProcessMonitor();
+      startExternalViewerMonitor(chimeraManager.getChimeraProcess());
     }
     else
     {
@@ -334,7 +316,7 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   @Override
   public boolean isViewerRunning()
   {
-    return chimeraManager.isChimeraLaunched();
+    return chimeraManager != null && chimeraManager.isChimeraLaunched();
   }
 
   /**
@@ -355,13 +337,23 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     List<String> reply = null;
     // trim command or it may never find a match in the replyLog!!
     String cmd = command.getCommand().trim();
-    List<String> lastReply = chimeraManager
-            .sendChimeraCommand(cmd, getResponse);
+    List<String> lastReply = chimeraManager.sendChimeraCommand(cmd,
+            getResponse);
     if (getResponse)
     {
       reply = lastReply;
-      Cache.log.debug(
-              "Response from command ('" + cmd + "') was:\n" + lastReply);
+      if (Console.isDebugEnabled())
+      {
+        Console.debug(
+                "Response from command ('" + cmd + "') was:\n" + lastReply);
+      }
+    }
+    else
+    {
+      if (Console.isDebugEnabled())
+      {
+        Console.debug("Command executed: " + cmd);
+      }
     }
 
     return reply;
@@ -380,8 +372,9 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   }
 
   /**
-   * Construct and send a command to highlight zero, one or more atoms. We do this
-   * by sending an "rlabel" command to show the residue label at that position.
+   * Construct and send a command to highlight zero, one or more atoms. We do
+   * this by sending an "rlabel" command to show the residue label at that
+   * position.
    */
   @Override
   public void highlightAtoms(List<AtomSpec> atoms)
@@ -415,13 +408,13 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
         first = false;
         if (forChimeraX)
         {
-          cmd.append(cms.get(0).getModelNumber())
-                  .append("/").append(chain).append(":").append(pdbResNum);
+          cmd.append(cms.get(0).getModelNumber()).append("/").append(chain)
+                  .append(":").append(pdbResNum);
         }
         else
         {
-          cmd.append(cms.get(0).getModelNumber())
-                  .append(":").append(pdbResNum);
+          cmd.append(cms.get(0).getModelNumber()).append(":")
+                  .append(pdbResNum);
           if (!chain.equals(" ") && !forChimeraX)
           {
             cmd.append(".").append(chain);
@@ -439,19 +432,31 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     {
       return;
     }
-
+    if (!found)
+    {
+      // not a valid residue label command, so clear
+      cmd.setLength(0);
+    }
     /*
-     * unshow the label for the previous residue
+     * prepend with command
+     * to unshow the label for the previous residue
      */
     if (lastHighlightCommand != null)
     {
-      chimeraManager.sendChimeraCommand("~" + lastHighlightCommand, false);
+      cmd.insert(0, ";");
+      cmd.insert(0, lastHighlightCommand);
+      cmd.insert(0, "~");
+
+    }
+    if (cmd.length() > 0)
+    {
+      executeCommand(true, null, new StructureCommand(cmd.toString()));
     }
+
     if (found)
     {
-      chimeraManager.sendChimeraCommand(command, false);
+      this.lastHighlightCommand = command;
     }
-    this.lastHighlightCommand = command;
   }
 
   /**
@@ -462,25 +467,57 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     /*
      * Ask Chimera for its current selection
      */
-    List<String> selection = chimeraManager.getSelectedResidueSpecs();
+    StructureCommandI command = getCommandGenerator().getSelectedResidues();
 
-    /*
-     * Parse model number, residue and chain for each selected position,
-     * formatted as #0:123.A or #1.2:87.B (#model.submodel:residue.chain)
-     */
-    List<AtomSpec> atomSpecs = convertStructureResiduesToAlignment(
-            selection);
+    Runnable action = new Runnable()
+    {
+      @Override
+      public void run()
+      {
+        List<String> chimeraReply = executeCommand(command, true);
 
-    /*
-     * Broadcast the selection (which may be empty, if the user just cleared all
-     * selections)
-     */
-    getSsm().mouseOverStructure(atomSpecs);
+        List<String> selectedResidues = new ArrayList<>();
+        if (chimeraReply != null)
+        {
+          /*
+           * expect 0, 1 or more lines of the format either
+           * Chimera:
+           * residue id #0:43.A type GLY
+           * ChimeraX:
+           * residue id /A:89 name THR index 88
+           * We are only interested in the atomspec (third token of the reply)
+           */
+          for (String inputLine : chimeraReply)
+          {
+            String[] inputLineParts = inputLine.split("\\s+");
+            if (inputLineParts.length >= 5)
+            {
+              selectedResidues.add(inputLineParts[2]);
+            }
+          }
+        }
+
+        /*
+         * Parse model number, residue and chain for each selected position,
+         * formatted as #0:123.A or #1.2:87.B (#model.submodel:residue.chain)
+         */
+        List<AtomSpec> atomSpecs = convertStructureResiduesToAlignment(
+                selectedResidues);
+
+        /*
+         * Broadcast the selection (which may be empty, if the user just cleared all
+         * selections)
+         */
+        getSsm().mouseOverStructure(atomSpecs);
+
+      }
+    };
+    new Thread(action).start();
   }
 
   /**
-   * Converts a list of Chimera atomspecs to a list of AtomSpec representing the
-   * corresponding residues (if any) in Jalview
+   * Converts a list of Chimera(X) atomspecs to a list of AtomSpec representing
+   * the corresponding residues (if any) in Jalview
    * 
    * @param structureSelection
    * @return
@@ -488,19 +525,18 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   protected List<AtomSpec> convertStructureResiduesToAlignment(
           List<String> structureSelection)
   {
-    boolean chimeraX = chimeraManager.isChimeraX();
     List<AtomSpec> atomSpecs = new ArrayList<>();
     for (String atomSpec : structureSelection)
     {
       try
       {
-        AtomSpec spec = AtomSpec.fromChimeraAtomspec(atomSpec, chimeraX);
+        AtomSpec spec = parseAtomSpec(atomSpec);
         String pdbfilename = getPdbFileForModel(spec.getModelNumber());
         spec.setPdbFile(pdbfilename);
         atomSpecs.add(spec);
       } catch (IllegalArgumentException e)
       {
-        System.err.println("Failed to parse atomspec: " + atomSpec);
+        Console.error("Failed to parse atomspec: " + atomSpec);
       }
     }
     return atomSpecs;
@@ -532,54 +568,7 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
 
   private void log(String message)
   {
-    System.err.println("## Chimera log: " + message);
-  }
-
-  /**
-   * Ask Chimera to open a session file. Returns true if successful, else false.
-   * The filename must have a .py (Chimera) or .cxs (ChimeraX) extension for
-   * this command to work.
-   * 
-   * @param filepath
-   * @return
-   */
-  public boolean openSession(String filepath)
-  {
-    /*
-     * Chimera:  https://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/midas/open.html
-     * ChimeraX: https://www.cgl.ucsf.edu/chimerax/docs/user/commands/open.html
-     */
-    executeCommand(getCommandGenerator().loadFile(filepath), true);
-    // todo: test for failure - how?
-    return true;
-  }
-
-  /**
-   * Send a 'show' command for all atoms in the currently selected columns
-   * 
-   * TODO: pull up to abstract structure viewer interface
-   * 
-   * @param vp
-   */
-  public void highlightSelection(AlignmentViewPanel vp)
-  {
-    List<Integer> cols = vp.getAlignViewport().getColumnSelection()
-            .getSelected();
-    AlignmentI alignment = vp.getAlignment();
-    StructureSelectionManager sm = getSsm();
-    for (SequenceI seq : alignment.getSequences())
-    {
-      /*
-       * convert selected columns into sequence positions
-       */
-      int[] positions = new int[cols.size()];
-      int i = 0;
-      for (Integer col : cols)
-      {
-        positions[i++] = seq.findPosition(col);
-      }
-      sm.highlightStructure(this, seq, positions);
-    }
+    jalview.bin.Console.errPrintln("## Chimera log: " + message);
   }
 
   /**
@@ -607,18 +596,15 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
     }
     else
     {
-      for (StructureCommandI command : commands)
-      {
-        sendAsynchronousCommand(command, null);
-      }
+      executeCommands(commands, false, null);
     }
     return commands.size();
   }
 
   /**
-   * Write commands to a temporary file, and send a command to Chimera to open the
-   * file as a commands script. For use when sending a large number of separate
-   * commands would overload the REST interface mechanism.
+   * Write commands to a temporary file, and send a command to Chimera to open
+   * the file as a commands script. For use when sending a large number of
+   * separate commands would overload the REST interface mechanism.
    * 
    * @param commands
    */
@@ -638,17 +624,19 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
       String path = tmp.getAbsolutePath();
       StructureCommandI command = getCommandGenerator()
               .openCommandFile(path);
-      sendAsynchronousCommand(command, null);
+      executeCommand(false, null, command);
     } catch (IOException e)
     {
-      System.err.println("Sending commands to Chimera via file failed with "
-              + e.getMessage());
+      jalview.bin.Console.errPrintln(
+              "Sending commands to Chimera via file failed with "
+                      + e.getMessage());
     }
   }
 
   /**
    * Returns the file extension required for a file of commands to be read by
    * the structure viewer
+   * 
    * @return
    */
   protected String getCommandFileExtension()
@@ -657,36 +645,6 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
   }
 
   /**
-   * Get Chimera residues which have the named attribute, find the mapped
-   * positions in the Jalview sequence(s), and set as sequence features
-   * 
-   * @param attName
-   * @param alignmentPanel
-   */
-  public void copyStructureAttributesToFeatures(String attName,
-          AlignmentViewPanel alignmentPanel)
-  {
-    // todo pull up to AAStructureBindingModel (and interface?)
-
-    /*
-     * ask Chimera to list residues with the attribute, reporting its value
-     */
-    // this alternative command
-    // list residues spec ':*/attName' attr attName
-    // doesn't report 'None' values (which is good), but
-    // fails for 'average.bfactor' (which is bad):
-
-    String cmd = "list residues attr '" + attName + "'";
-    List<String> residues = executeCommand(new StructureCommand(cmd), true);
-
-    boolean featureAdded = createFeaturesForAttributes(attName, residues);
-    if (featureAdded)
-    {
-      alignmentPanel.getFeatureRenderer().featuresAdded();
-    }
-  }
-
-  /**
    * Create features in Jalview for the given attribute name and structure
    * residues.
    * 
@@ -699,14 +657,13 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
    * 
    * @param attName
    * @param residues
-   * @return
+   * @return the number of features added
    */
-  protected boolean createFeaturesForAttributes(String attName,
+  protected int createFeaturesForAttributes(String attName,
           List<String> residues)
   {
-    boolean featureAdded = false;
+    int featuresAdded = 0;
     String featureGroup = getViewerFeatureGroup();
-    boolean chimeraX = chimeraManager.isChimeraX();
 
     for (String residue : residues)
     {
@@ -730,10 +687,10 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
 
       try
       {
-        spec = AtomSpec.fromChimeraAtomspec(atomSpec, chimeraX);
+        spec = parseAtomSpec(atomSpec);
       } catch (IllegalArgumentException e)
       {
-        System.err.println("Problem parsing atomspec " + atomSpec);
+        Console.error("Problem parsing atomspec " + atomSpec);
         continue;
       }
 
@@ -773,10 +730,13 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
                 start, end, score, featureGroup);
         // todo: should SequenceFeature have an explicit property for chain?
         // note: repeating the action shouldn't duplicate features
-        featureAdded |= seq.addSequenceFeature(sf);
+        if (seq.addSequenceFeature(sf))
+        {
+          featuresAdded++;
+        }
       }
     }
-    return featureAdded;
+    return featuresAdded;
   }
 
   /**
@@ -810,19 +770,29 @@ public abstract class JalviewChimeraBinding extends AAStructureBindingModel
    */
   public List<String> getChimeraAttributes()
   {
-    List<String> atts = chimeraManager.getAttrList();
-    Iterator<String> it = atts.iterator();
-    while (it.hasNext())
+    List<String> attributes = new ArrayList<>();
+    StructureCommandI command = getCommandGenerator()
+            .listResidueAttributes();
+    final List<String> reply = executeCommand(command, true);
+    if (reply != null)
     {
-      if (it.next().startsWith(ChimeraCommands.NAMESPACE_PREFIX))
+      for (String inputLine : reply)
       {
-        /*
-         * attribute added from Jalview - exclude it
-         */
-        it.remove();
+        String[] lineParts = inputLine.split("\\s");
+        if (lineParts.length == 2 && lineParts[0].equals("resattr"))
+        {
+          String attName = lineParts[1];
+          /*
+           * exclude attributes added from Jalview
+           */
+          if (!attName.startsWith(ChimeraCommands.NAMESPACE_PREFIX))
+          {
+            attributes.add(attName);
+          }
+        }
       }
     }
-    return atts;
+    return attributes;
   }
 
   /**