JAL-1622 Chimera command timeout increased to 5 secs (+minor changes)
[jalview.git] / src / ext / edu / ucsf / rbvi / strucviz2 / ChimeraManager.java
1 package ext.edu.ucsf.rbvi.strucviz2;
2
3 import java.awt.Color;
4 import java.io.BufferedReader;
5 import java.io.File;
6 import java.io.IOException;
7 import java.io.InputStream;
8 import java.io.InputStreamReader;
9 import java.util.ArrayList;
10 import java.util.Collection;
11 import java.util.HashMap;
12 import java.util.List;
13 import java.util.Map;
14
15 import org.apache.http.NameValuePair;
16 import org.apache.http.message.BasicNameValuePair;
17 import org.slf4j.Logger;
18 import org.slf4j.LoggerFactory;
19
20 import ext.edu.ucsf.rbvi.strucviz2.StructureManager.ModelType;
21 import ext.edu.ucsf.rbvi.strucviz2.port.ListenerThreads;
22
23 import jalview.ws.HttpClientUtils;
24
25 /**
26  * This object maintains the Chimera communication information.
27  */
28 public class ChimeraManager
29 {
30   private static final boolean debug = false;
31
32   private int chimeraRestPort;
33
34   private Process chimera;
35
36   private ListenerThreads chimeraListenerThread;
37
38   private Map<Integer, ChimeraModel> currentModelsMap;
39
40   private Logger logger = LoggerFactory
41           .getLogger(ext.edu.ucsf.rbvi.strucviz2.ChimeraManager.class);
42
43   private StructureManager structureManager;
44
45   public ChimeraManager(StructureManager structureManager)
46   {
47     this.structureManager = structureManager;
48     chimera = null;
49     chimeraListenerThread = null;
50     currentModelsMap = new HashMap<Integer, ChimeraModel>();
51
52   }
53
54   public List<ChimeraModel> getChimeraModels(String modelName)
55   {
56     List<ChimeraModel> models = getChimeraModels(modelName,
57             ModelType.PDB_MODEL);
58     models.addAll(getChimeraModels(modelName, ModelType.SMILES));
59     return models;
60   }
61
62   public List<ChimeraModel> getChimeraModels(String modelName,
63           ModelType modelType)
64   {
65     List<ChimeraModel> models = new ArrayList<ChimeraModel>();
66     for (ChimeraModel model : currentModelsMap.values())
67     {
68       if (modelName.equals(model.getModelName())
69               && modelType.equals(model.getModelType()))
70       {
71         models.add(model);
72       }
73     }
74     return models;
75   }
76
77   public Map<String, List<ChimeraModel>> getChimeraModelsMap()
78   {
79     Map<String, List<ChimeraModel>> models = new HashMap<String, List<ChimeraModel>>();
80     for (ChimeraModel model : currentModelsMap.values())
81     {
82       String modelName = model.getModelName();
83       if (!models.containsKey(modelName))
84       {
85         models.put(modelName, new ArrayList<ChimeraModel>());
86       }
87       if (!models.get(modelName).contains(model))
88       {
89         models.get(modelName).add(model);
90       }
91     }
92     return models;
93   }
94
95   public ChimeraModel getChimeraModel(Integer modelNumber,
96           Integer subModelNumber)
97   {
98     Integer key = ChimUtils.makeModelKey(modelNumber, subModelNumber);
99     if (currentModelsMap.containsKey(key))
100     {
101       return currentModelsMap.get(key);
102     }
103     return null;
104   }
105
106   public ChimeraModel getChimeraModel()
107   {
108     return currentModelsMap.values().iterator().next();
109   }
110
111   public Collection<ChimeraModel> getChimeraModels()
112   {
113     // this method is invoked by the model navigator dialog
114     return currentModelsMap.values();
115   }
116
117   public int getChimeraModelsCount(boolean smiles)
118   {
119     // this method is invokes by the model navigator dialog
120     int counter = currentModelsMap.size();
121     if (smiles)
122     {
123       return counter;
124     }
125
126     for (ChimeraModel model : currentModelsMap.values())
127     {
128       if (model.getModelType() == ModelType.SMILES)
129       {
130         counter--;
131       }
132     }
133     return counter;
134   }
135
136   public boolean hasChimeraModel(Integer modelNubmer)
137   {
138     return hasChimeraModel(modelNubmer, 0);
139   }
140
141   public boolean hasChimeraModel(Integer modelNubmer, Integer subModelNumber)
142   {
143     return currentModelsMap.containsKey(ChimUtils.makeModelKey(modelNubmer,
144             subModelNumber));
145   }
146
147   public void addChimeraModel(Integer modelNumber, Integer subModelNumber,
148           ChimeraModel model)
149   {
150     currentModelsMap.put(
151             ChimUtils.makeModelKey(modelNumber, subModelNumber), model);
152   }
153
154   public void removeChimeraModel(Integer modelNumber, Integer subModelNumber)
155   {
156     int modelKey = ChimUtils.makeModelKey(modelNumber, subModelNumber);
157     if (currentModelsMap.containsKey(modelKey))
158     {
159       currentModelsMap.remove(modelKey);
160     }
161   }
162
163   public List<ChimeraModel> openModel(String modelPath, ModelType type)
164   {
165     return openModel(modelPath, getFileNameFromPath(modelPath), type);
166   }
167
168   /**
169    * Overloaded method to allow Jalview to pass in a model name.
170    * 
171    * @param modelPath
172    * @param modelName
173    * @param type
174    * @return
175    */
176   public List<ChimeraModel> openModel(String modelPath, String modelName,
177           ModelType type)
178   {
179     logger.info("chimera open " + modelPath);
180     // stopListening();
181     List<String> response = null;
182     // TODO: [Optional] Handle modbase models
183     if (type == ModelType.MODBASE_MODEL)
184     {
185       response = sendChimeraCommand("open modbase:" + modelPath, true);
186       // } else if (type == ModelType.SMILES) {
187       // response = sendChimeraCommand("open smiles:" + modelName, true);
188       // modelName = "smiles:" + modelName;
189     }
190     else
191     {
192       response = sendChimeraCommand("open " + modelPath, true);
193     }
194     if (response == null)
195     {
196       // something went wrong
197       logger.warn("Could not open " + modelPath);
198       return null;
199     }
200     List<ChimeraModel> models = new ArrayList<ChimeraModel>();
201     int[] modelNumbers = null;
202     if (type == ModelType.PDB_MODEL)
203     {
204       for (String line : response)
205       {
206         if (line.startsWith("#"))
207         {
208           modelNumbers = ChimUtils.parseOpenedModelNumber(line);
209           if (modelNumbers != null)
210           {
211             int modelNumber = ChimUtils.makeModelKey(modelNumbers[0],
212                     modelNumbers[1]);
213             if (currentModelsMap.containsKey(modelNumber))
214             {
215               continue;
216             }
217             ChimeraModel newModel = new ChimeraModel(modelName, type,
218                     modelNumbers[0], modelNumbers[1]);
219             currentModelsMap.put(modelNumber, newModel);
220             models.add(newModel);
221
222             //
223             // patch for Jalview - set model name in Chimera
224             // TODO: find a variant that works for sub-models
225             sendChimeraCommand("setattr M name " + modelName + " #"
226                     + modelNumbers[0], false);
227             // end patch for Jalview
228
229             modelNumbers = null;
230           }
231         }
232       }
233     }
234     else
235     {
236       // TODO: [Optional] Open smiles from file would fail. Do we need it?
237       // If parsing fails, iterate over all open models to get the right one
238       List<ChimeraModel> openModels = getModelList();
239       for (ChimeraModel openModel : openModels)
240       {
241         String openModelName = openModel.getModelName();
242         if (openModelName.endsWith("..."))
243         {
244           openModelName = openModelName.substring(0,
245                   openModelName.length() - 3);
246         }
247         if (modelPath.startsWith(openModelName))
248         {
249           openModel.setModelName(modelPath);
250           int modelNumber = ChimUtils
251                   .makeModelKey(openModel.getModelNumber(),
252                           openModel.getSubModelNumber());
253           if (!currentModelsMap.containsKey(modelNumber))
254           {
255             currentModelsMap.put(modelNumber, openModel);
256             models.add(openModel);
257           }
258         }
259       }
260     }
261
262     // assign color and residues to open models
263     for (ChimeraModel newModel : models)
264     {
265       // get model color
266       Color modelColor = getModelColor(newModel);
267       if (modelColor != null)
268       {
269         newModel.setModelColor(modelColor);
270       }
271
272       // Get our properties (default color scheme, etc.)
273       // Make the molecule look decent
274       // chimeraSend("repr stick "+newModel.toSpec());
275
276       // Create the information we need for the navigator
277       if (type != ModelType.SMILES)
278       {
279         addResidues(newModel);
280       }
281     }
282
283     sendChimeraCommand("focus", false);
284     // startListening(); // see ChimeraListener
285     return models;
286   }
287
288   /**
289    * Refactored method to extract the last (or only) element delimited by file
290    * path separator.
291    * 
292    * @param modelPath
293    * @return
294    */
295   private String getFileNameFromPath(String modelPath)
296   {
297     String modelName = modelPath;
298     if (modelPath == null)
299     {
300       return null;
301     }
302     // TODO: [Optional] Convert path to name in a better way
303     if (modelPath.lastIndexOf(File.separator) > 0)
304     {
305       modelName = modelPath.substring(modelPath
306               .lastIndexOf(File.separator) + 1);
307     }
308     else if (modelPath.lastIndexOf("/") > 0)
309     {
310       modelName = modelPath
311               .substring(modelPath.lastIndexOf("/") + 1);
312     }
313     return modelName;
314   }
315
316   public void closeModel(ChimeraModel model)
317   {
318     // int model = structure.modelNumber();
319     // int subModel = structure.subModelNumber();
320     // Integer modelKey = makeModelKey(model, subModel);
321     stopListening();
322     logger.info("chimera close model " + model.getModelName());
323     if (currentModelsMap.containsKey(ChimUtils.makeModelKey(
324             model.getModelNumber(), model.getSubModelNumber())))
325     {
326       sendChimeraCommand("close " + model.toSpec(), false);
327       // currentModelNamesMap.remove(model.getModelName());
328       currentModelsMap.remove(ChimUtils.makeModelKey(
329               model.getModelNumber(), model.getSubModelNumber()));
330       // selectionList.remove(chimeraModel);
331     }
332     else
333     {
334       logger.warn("Could not find model " + model.getModelName()
335               + " to close.");
336     }
337     startListening();
338   }
339
340   public void startListening()
341   {
342     sendChimeraCommand("listen start models; listen start selection", false);
343   }
344
345   public void stopListening()
346   {
347     sendChimeraCommand("listen stop models ; listen stop selection ", false);
348   }
349
350   /**
351    * Tell Chimera we are listening on the given URI
352    * 
353    * @param uri
354    */
355   public void startListening(String uri)
356   {
357     sendChimeraCommand("listen start models url " + uri
358     + ";listen start select prefix SelectionChanged url " + uri, false);
359   }
360
361   /**
362    * Select something in Chimera
363    * 
364    * @param command
365    *          the selection command to pass to Chimera
366    */
367   public void select(String command)
368   {
369     sendChimeraCommand("listen stop selection; " + command
370             + "; listen start selection", false);
371   }
372
373   public void focus()
374   {
375     sendChimeraCommand("focus", false);
376   }
377
378   public void clearOnChimeraExit()
379   {
380     chimera = null;
381     currentModelsMap.clear();
382       this.chimeraRestPort = 0;
383     structureManager.clearOnChimeraExit();
384   }
385
386   public void exitChimera()
387   {
388     if (isChimeraLaunched() && chimera != null)
389     {
390       sendChimeraCommand("stop really", false);
391       try
392       {
393         chimera.destroy();
394       } catch (Exception ex)
395       {
396         // ignore
397       }
398     }
399     clearOnChimeraExit();
400   }
401
402   public Map<Integer, ChimeraModel> getSelectedModels()
403   {
404     Map<Integer, ChimeraModel> selectedModelsMap = new HashMap<Integer, ChimeraModel>();
405     List<String> chimeraReply = sendChimeraCommand(
406             "list selection level molecule", true);
407     if (chimeraReply != null)
408     {
409       for (String modelLine : chimeraReply)
410       {
411         ChimeraModel chimeraModel = new ChimeraModel(modelLine);
412         Integer modelKey = ChimUtils.makeModelKey(
413                 chimeraModel.getModelNumber(),
414                 chimeraModel.getSubModelNumber());
415         selectedModelsMap.put(modelKey, chimeraModel);
416       }
417     }
418     return selectedModelsMap;
419   }
420
421   /**
422    * Sends a 'list selection level residue' command to Chimera and returns the
423    * list of selected atomspecs
424    * 
425    * @return
426    */
427   public List<String> getSelectedResidueSpecs()
428   {
429     List<String> selectedResidues = new ArrayList<String>();
430     List<String> chimeraReply = sendChimeraCommand(
431             "list selection level residue", true);
432     if (chimeraReply != null)
433     {
434       for (String inputLine : chimeraReply)
435       {
436         String[] inputLineParts = inputLine.split("\\s+");
437         if (inputLineParts.length == 5)
438         {
439           selectedResidues.add(inputLineParts[2]);
440         }
441       }
442     }
443     return selectedResidues;
444   }
445
446   public void getSelectedResidues(
447           Map<Integer, ChimeraModel> selectedModelsMap)
448   {
449     List<String> chimeraReply = sendChimeraCommand(
450             "list selection level residue", true);
451     if (chimeraReply != null)
452     {
453       for (String inputLine : chimeraReply)
454       {
455         ChimeraResidue r = new ChimeraResidue(inputLine);
456         Integer modelKey = ChimUtils.makeModelKey(r.getModelNumber(),
457                 r.getSubModelNumber());
458         if (selectedModelsMap.containsKey(modelKey))
459         {
460           ChimeraModel model = selectedModelsMap.get(modelKey);
461           model.addResidue(r);
462         }
463       }
464     }
465   }
466
467   /**
468    * Return the list of ChimeraModels currently open. Warning: if smiles model
469    * name too long, only part of it with "..." is printed.
470    * 
471    * 
472    * @return List of ChimeraModel's
473    */
474   // TODO: [Optional] Handle smiles names in a better way in Chimera?
475   public List<ChimeraModel> getModelList()
476   {
477     List<ChimeraModel> modelList = new ArrayList<ChimeraModel>();
478     List<String> list = sendChimeraCommand("list models type molecule",
479             true);
480     if (list != null)
481     {
482       for (String modelLine : list)
483       {
484         ChimeraModel chimeraModel = new ChimeraModel(modelLine);
485         modelList.add(chimeraModel);
486       }
487     }
488     return modelList;
489   }
490
491   /**
492    * Return the list of depiction presets available from within Chimera. Chimera
493    * will return the list as a series of lines with the format: Preset type
494    * number "description"
495    * 
496    * @return list of presets
497    */
498   public List<String> getPresets()
499   {
500     ArrayList<String> presetList = new ArrayList<String>();
501     List<String> output = sendChimeraCommand("preset list", true);
502     if (output != null)
503     {
504       for (String preset : output)
505       {
506         preset = preset.substring(7); // Skip over the "Preset"
507         preset = preset.replaceFirst("\"", "(");
508         preset = preset.replaceFirst("\"", ")");
509         // string now looks like: type number (description)
510         presetList.add(preset);
511       }
512     }
513     return presetList;
514   }
515
516   public boolean isChimeraLaunched()
517   {
518     boolean launched = false;
519     if (chimera != null)
520     {
521       try
522       {
523         chimera.exitValue();
524         // if we get here, process has ended
525       } catch (IllegalThreadStateException e)
526       {
527         // ok - not yet terminated
528         launched = true;
529       }
530     }
531     return launched;
532   }
533
534   /**
535    * Launch Chimera, unless an instance linked to this object is already
536    * running. Returns true if chimera is successfully launched, or already
537    * running, else false.
538    * 
539    * @param chimeraPaths
540    * @return
541    */
542   public boolean launchChimera(List<String> chimeraPaths)
543   {
544     // Do nothing if Chimera is already launched
545     if (isChimeraLaunched())
546     {
547       return true;
548     }
549
550     // Try to launch Chimera (eventually using one of the possible paths)
551     String error = "Error message: ";
552     String workingPath = "";
553     // iterate over possible paths for starting Chimera
554     for (String chimeraPath : chimeraPaths)
555     {
556       File path = new File(chimeraPath);
557       if (!path.canExecute())
558       {
559         error += "File '" + path + "' does not exist.\n";
560         continue;
561       }
562       try
563       {
564         List<String> args = new ArrayList<String>();
565         args.add(chimeraPath);
566         args.add("--start");
567         args.add("RESTServer");
568         ProcessBuilder pb = new ProcessBuilder(args);
569         chimera = pb.start();
570         error = "";
571         workingPath = chimeraPath;
572         break;
573       } catch (Exception e)
574       {
575         // Chimera could not be started
576         error += e.getMessage();
577       }
578     }
579     // If no error, then Chimera was launched successfully
580     if (error.length() == 0)
581     {
582       this.chimeraRestPort = getPortNumber();
583       System.out.println("Chimera REST API started on port "
584               + chimeraRestPort);
585       // structureManager.initChimTable();
586       structureManager.setChimeraPathProperty(workingPath);
587       // TODO: [Optional] Check Chimera version and show a warning if below 1.8
588       // Ask Chimera to give us updates
589       // startListening(); // later - see ChimeraListener
590       return true;
591     }
592
593     // Tell the user that Chimera could not be started because of an error
594     logger.warn(error);
595     return false;
596   }
597
598   /**
599    * Read and return the port number returned in the reply to --start RESTServer
600    */
601   private int getPortNumber()
602   {
603     int port = 0;
604     InputStream readChan = chimera.getInputStream();
605     BufferedReader lineReader = new BufferedReader(new InputStreamReader(
606             readChan));
607     String response = null;
608     try
609     {
610       // expect: REST server on host 127.0.0.1 port port_number
611       response = lineReader.readLine();
612       String [] tokens = response.split(" ");
613       if (tokens.length == 7 && "port".equals(tokens[5])) {
614         port = Integer.parseInt(tokens[6]);
615         logger.info("Chimera REST service listening on port "
616                 + chimeraRestPort);
617       }
618     } catch (Exception e)
619     {
620       logger.error("Failed to get REST port number from " + response + ": "
621               + e.getMessage());
622     } finally
623     {
624       try
625       {
626         lineReader.close();
627       } catch (IOException e2)
628       {
629       }
630     }
631     return port;
632   }
633
634   /**
635    * Determine the color that Chimera is using for this model.
636    * 
637    * @param model
638    *          the ChimeraModel we want to get the Color for
639    * @return the default model Color for this model in Chimera
640    */
641   public Color getModelColor(ChimeraModel model)
642   {
643     List<String> colorLines = sendChimeraCommand(
644             "list model spec " + model.toSpec() + " attribute color", true);
645     if (colorLines == null || colorLines.size() == 0)
646     {
647       return null;
648     }
649     return ChimUtils.parseModelColor(colorLines.get(0));
650   }
651
652   /**
653    * 
654    * Get information about the residues associated with a model. This uses the
655    * Chimera listr command. We don't return the resulting residues, but we add
656    * the residues to the model.
657    * 
658    * @param model
659    *          the ChimeraModel to get residue information for
660    * 
661    */
662   public void addResidues(ChimeraModel model)
663   {
664     int modelNumber = model.getModelNumber();
665     int subModelNumber = model.getSubModelNumber();
666     // Get the list -- it will be in the reply log
667     List<String> reply = sendChimeraCommand(
668             "list residues spec " + model.toSpec(), true);
669     if (reply == null)
670     {
671       return;
672     }
673     for (String inputLine : reply)
674     {
675       ChimeraResidue r = new ChimeraResidue(inputLine);
676       if (r.getModelNumber() == modelNumber
677               || r.getSubModelNumber() == subModelNumber)
678       {
679         model.addResidue(r);
680       }
681     }
682   }
683
684   public List<String> getAttrList()
685   {
686     List<String> attributes = new ArrayList<String>();
687     final List<String> reply = sendChimeraCommand("list resattr", true);
688     if (reply != null)
689     {
690       for (String inputLine : reply)
691       {
692         String[] lineParts = inputLine.split("\\s");
693         if (lineParts.length == 2 && lineParts[0].equals("resattr"))
694         {
695           attributes.add(lineParts[1]);
696         }
697       }
698     }
699     return attributes;
700   }
701
702   public Map<ChimeraResidue, Object> getAttrValues(String aCommand,
703           ChimeraModel model)
704   {
705     Map<ChimeraResidue, Object> values = new HashMap<ChimeraResidue, Object>();
706     final List<String> reply = sendChimeraCommand("list residue spec "
707             + model.toSpec() + " attribute " + aCommand, true);
708     if (reply != null)
709     {
710       for (String inputLine : reply)
711       {
712         String[] lineParts = inputLine.split("\\s");
713         if (lineParts.length == 5)
714         {
715           ChimeraResidue residue = ChimUtils
716                   .getResidue(lineParts[2], model);
717           String value = lineParts[4];
718           if (residue != null)
719           {
720             if (value.equals("None"))
721             {
722               continue;
723             }
724             if (value.equals("True") || value.equals("False"))
725             {
726               values.put(residue, Boolean.valueOf(value));
727               continue;
728             }
729             try
730             {
731               Double doubleValue = Double.valueOf(value);
732               values.put(residue, doubleValue);
733             } catch (NumberFormatException ex)
734             {
735               values.put(residue, value);
736             }
737           }
738         }
739       }
740     }
741     return values;
742   }
743
744   private volatile boolean busy = false;
745
746   /**
747    * Send a command to Chimera.
748    * 
749    * @param command
750    *          Command string to be send.
751    * @param reply
752    *          Flag indicating whether the method should return the reply from
753    *          Chimera or not.
754    * @return List of Strings corresponding to the lines in the Chimera reply or
755    *         <code>null</code>.
756    */
757   public List<String> sendChimeraCommand(String command, boolean reply)
758   {
759 //    System.out.println("chimeradebug>> " + command);
760     if (!isChimeraLaunched() || command == null
761             || "".equals(command.trim()))
762     {
763       return null;
764     }
765     // TODO do we need a maximum wait time before aborting?
766     while (busy)
767     {
768       try
769       {
770         Thread.sleep(25);
771       } catch (InterruptedException q)
772       {
773       }
774     }
775     busy = true;
776     long startTime = System.currentTimeMillis();
777     try
778     {
779       return sendRestCommand(command);
780     } finally
781     {
782       /*
783        * Make sure busy flag is reset come what may!
784        */
785       busy = false;
786       if (debug)
787       {
788         System.out.println("Chimera command took "
789                 + (System.currentTimeMillis() - startTime) + "ms: "
790                 + command);
791       }
792
793     }
794   }
795
796   /**
797    * Sends the command to Chimera's REST API, and returns any response lines.
798    * 
799    * @param command
800    * @return
801    */
802   protected List<String> sendRestCommand(String command)
803   {
804     String restUrl = "http://127.0.0.1:" + this.chimeraRestPort + "/run";
805     List<NameValuePair> commands = new ArrayList<NameValuePair>(1);
806     commands.add(new BasicNameValuePair("command", command));
807
808     List<String> reply = new ArrayList<String>();
809     BufferedReader response = null;
810     try {
811       response = HttpClientUtils
812               .doHttpUrlPost(restUrl, commands, 100, 5000);
813       String line = "";
814       while ((line = response.readLine()) != null) {
815         reply.add(line);
816       }
817     } catch (Exception e)
818     {
819       logger.error("REST call " + command + " failed: " + e.getMessage());
820     } finally
821     {
822       if (response != null)
823       {
824         try
825         {
826           response.close();
827         } catch (IOException e)
828         {
829         }
830       }
831     }
832     return reply;
833   }
834
835   /**
836    * Send a command to stdin of Chimera process, and optionally read any
837    * responses.
838    * 
839    * @param command
840    * @param readReply
841    * @return
842    */
843   protected List<String> sendStdinCommand(String command, boolean readReply)
844   {
845     chimeraListenerThread.clearResponse(command);
846     String text = command.concat("\n");
847     try
848     {
849       // send the command
850       chimera.getOutputStream().write(text.getBytes());
851       chimera.getOutputStream().flush();
852     } catch (IOException e)
853     {
854       // logger.info("Unable to execute command: " + text);
855       // logger.info("Exiting...");
856       logger.warn("Unable to execute command: " + text);
857       logger.warn("Exiting...");
858       clearOnChimeraExit();
859       return null;
860     }
861     if (!readReply)
862     {
863       return null;
864     }
865     List<String> rsp = chimeraListenerThread.getResponse(command);
866     return rsp;
867   }
868
869   public StructureManager getStructureManager()
870   {
871     return structureManager;
872   }
873
874   public boolean isBusy()
875   {
876     return busy;
877   }
878 }