2c40e1ce271b60cf181da4b11446da1764b7a4ab
[jalview.git] / src / ext / edu / ucsf / rbvi / strucviz2 / ChimeraManager.java
1 package ext.edu.ucsf.rbvi.strucviz2;
2
3 import jalview.ws.HttpClientUtils;
4
5 import java.awt.Color;
6 import java.io.BufferedReader;
7 import java.io.File;
8 import java.io.IOException;
9 import java.io.InputStream;
10 import java.io.InputStreamReader;
11 import java.util.ArrayList;
12 import java.util.Collection;
13 import java.util.HashMap;
14 import java.util.List;
15 import java.util.Map;
16
17 import org.apache.http.NameValuePair;
18 import org.apache.http.message.BasicNameValuePair;
19 import org.slf4j.Logger;
20 import org.slf4j.LoggerFactory;
21
22 import ext.edu.ucsf.rbvi.strucviz2.StructureManager.ModelType;
23 import ext.edu.ucsf.rbvi.strucviz2.port.ListenerThreads;
24
25 /**
26  * This object maintains the Chimera communication information.
27  */
28 public class ChimeraManager
29 {
30   private static final boolean debug = false;
31
32   private int chimeraRestPort;
33
34   private Process chimera;
35
36   private ListenerThreads chimeraListenerThread;
37
38   private Map<Integer, ChimeraModel> currentModelsMap;
39
40   private Logger logger = LoggerFactory
41           .getLogger(ext.edu.ucsf.rbvi.strucviz2.ChimeraManager.class);
42
43   private StructureManager structureManager;
44
45   public ChimeraManager(StructureManager structureManager)
46   {
47     this.structureManager = structureManager;
48     chimera = null;
49     chimeraListenerThread = null;
50     currentModelsMap = new HashMap<Integer, ChimeraModel>();
51
52   }
53
54   public List<ChimeraModel> getChimeraModels(String modelName)
55   {
56     List<ChimeraModel> models = getChimeraModels(modelName,
57             ModelType.PDB_MODEL);
58     models.addAll(getChimeraModels(modelName, ModelType.SMILES));
59     return models;
60   }
61
62   public List<ChimeraModel> getChimeraModels(String modelName,
63           ModelType modelType)
64   {
65     List<ChimeraModel> models = new ArrayList<ChimeraModel>();
66     for (ChimeraModel model : currentModelsMap.values())
67     {
68       if (modelName.equals(model.getModelName())
69               && modelType.equals(model.getModelType()))
70       {
71         models.add(model);
72       }
73     }
74     return models;
75   }
76
77   public Map<String, List<ChimeraModel>> getChimeraModelsMap()
78   {
79     Map<String, List<ChimeraModel>> models = new HashMap<String, List<ChimeraModel>>();
80     for (ChimeraModel model : currentModelsMap.values())
81     {
82       String modelName = model.getModelName();
83       if (!models.containsKey(modelName))
84       {
85         models.put(modelName, new ArrayList<ChimeraModel>());
86       }
87       if (!models.get(modelName).contains(model))
88       {
89         models.get(modelName).add(model);
90       }
91     }
92     return models;
93   }
94
95   public ChimeraModel getChimeraModel(Integer modelNumber,
96           Integer subModelNumber)
97   {
98     Integer key = ChimUtils.makeModelKey(modelNumber, subModelNumber);
99     if (currentModelsMap.containsKey(key))
100     {
101       return currentModelsMap.get(key);
102     }
103     return null;
104   }
105
106   public ChimeraModel getChimeraModel()
107   {
108     return currentModelsMap.values().iterator().next();
109   }
110
111   public Collection<ChimeraModel> getChimeraModels()
112   {
113     // this method is invoked by the model navigator dialog
114     return currentModelsMap.values();
115   }
116
117   public int getChimeraModelsCount(boolean smiles)
118   {
119     // this method is invokes by the model navigator dialog
120     int counter = currentModelsMap.size();
121     if (smiles)
122     {
123       return counter;
124     }
125
126     for (ChimeraModel model : currentModelsMap.values())
127     {
128       if (model.getModelType() == ModelType.SMILES)
129       {
130         counter--;
131       }
132     }
133     return counter;
134   }
135
136   public boolean hasChimeraModel(Integer modelNubmer)
137   {
138     return hasChimeraModel(modelNubmer, 0);
139   }
140
141   public boolean hasChimeraModel(Integer modelNubmer, Integer subModelNumber)
142   {
143     return currentModelsMap.containsKey(ChimUtils.makeModelKey(modelNubmer,
144             subModelNumber));
145   }
146
147   public void addChimeraModel(Integer modelNumber, Integer subModelNumber,
148           ChimeraModel model)
149   {
150     currentModelsMap.put(
151             ChimUtils.makeModelKey(modelNumber, subModelNumber), model);
152   }
153
154   public void removeChimeraModel(Integer modelNumber, Integer subModelNumber)
155   {
156     int modelKey = ChimUtils.makeModelKey(modelNumber, subModelNumber);
157     if (currentModelsMap.containsKey(modelKey))
158     {
159       currentModelsMap.remove(modelKey);
160     }
161   }
162
163   public List<ChimeraModel> openModel(String modelPath, ModelType type)
164   {
165     return openModel(modelPath, getFileNameFromPath(modelPath), type);
166   }
167
168   /**
169    * Overloaded method to allow Jalview to pass in a model name.
170    * 
171    * @param modelPath
172    * @param modelName
173    * @param type
174    * @return
175    */
176   public List<ChimeraModel> openModel(String modelPath, String modelName,
177           ModelType type)
178   {
179     logger.info("chimera open " + modelPath);
180     stopListening();
181     List<String> response = null;
182     // TODO: [Optional] Handle modbase models
183     if (type == ModelType.MODBASE_MODEL)
184     {
185       response = sendChimeraCommand("open modbase:" + modelPath, true);
186       // } else if (type == ModelType.SMILES) {
187       // response = sendChimeraCommand("open smiles:" + modelName, true);
188       // modelName = "smiles:" + modelName;
189     }
190     else
191     {
192       response = sendChimeraCommand("open " + modelPath, true);
193     }
194     if (response == null)
195     {
196       // something went wrong
197       logger.warn("Could not open " + modelPath);
198       return null;
199     }
200     List<ChimeraModel> models = new ArrayList<ChimeraModel>();
201     int[] modelNumbers = null;
202     if (type == ModelType.PDB_MODEL)
203     {
204       for (String line : response)
205       {
206         if (line.startsWith("#"))
207         {
208           modelNumbers = ChimUtils.parseOpenedModelNumber(line);
209           if (modelNumbers != null)
210           {
211             int modelNumber = ChimUtils.makeModelKey(modelNumbers[0],
212                     modelNumbers[1]);
213             if (currentModelsMap.containsKey(modelNumber))
214             {
215               continue;
216             }
217             ChimeraModel newModel = new ChimeraModel(modelName, type,
218                     modelNumbers[0], modelNumbers[1]);
219             currentModelsMap.put(modelNumber, newModel);
220             models.add(newModel);
221
222             //
223             // patch for Jalview - set model name in Chimera
224             //
225             sendChimeraCommand("setattr M name " + modelName + " #"
226                     + modelNumbers[0], false);
227             // end patch for Jalview
228
229             modelNumbers = null;
230           }
231         }
232       }
233     }
234     else
235     {
236       // TODO: [Optional] Open smiles from file would fail. Do we need it?
237       // If parsing fails, iterate over all open models to get the right one
238       List<ChimeraModel> openModels = getModelList();
239       for (ChimeraModel openModel : openModels)
240       {
241         String openModelName = openModel.getModelName();
242         if (openModelName.endsWith("..."))
243         {
244           openModelName = openModelName.substring(0,
245                   openModelName.length() - 3);
246         }
247         if (modelPath.startsWith(openModelName))
248         {
249           openModel.setModelName(modelPath);
250           int modelNumber = ChimUtils
251                   .makeModelKey(openModel.getModelNumber(),
252                           openModel.getSubModelNumber());
253           if (!currentModelsMap.containsKey(modelNumber))
254           {
255             currentModelsMap.put(modelNumber, openModel);
256             models.add(openModel);
257           }
258         }
259       }
260     }
261
262     // assign color and residues to open models
263     for (ChimeraModel newModel : models)
264     {
265       // get model color
266       Color modelColor = getModelColor(newModel);
267       if (modelColor != null)
268       {
269         newModel.setModelColor(modelColor);
270       }
271
272       // Get our properties (default color scheme, etc.)
273       // Make the molecule look decent
274       // chimeraSend("repr stick "+newModel.toSpec());
275
276       // Create the information we need for the navigator
277       if (type != ModelType.SMILES)
278       {
279         addResidues(newModel);
280       }
281     }
282
283     sendChimeraCommand("focus", false);
284     startListening();
285     return models;
286   }
287
288   /**
289    * Refactored method to extract the last (or only) element delimited by file
290    * path separator.
291    * 
292    * @param modelPath
293    * @return
294    */
295   private String getFileNameFromPath(String modelPath)
296   {
297     String modelName = modelPath;
298     if (modelPath == null)
299     {
300       return null;
301     }
302     // TODO: [Optional] Convert path to name in a better way
303     if (modelPath.lastIndexOf(File.separator) > 0)
304     {
305       modelName = modelPath.substring(modelPath
306               .lastIndexOf(File.separator) + 1);
307     }
308     else if (modelPath.lastIndexOf("/") > 0)
309     {
310       modelName = modelPath
311               .substring(modelPath.lastIndexOf("/") + 1);
312     }
313     return modelName;
314   }
315
316   public void closeModel(ChimeraModel model)
317   {
318     // int model = structure.modelNumber();
319     // int subModel = structure.subModelNumber();
320     // Integer modelKey = makeModelKey(model, subModel);
321     stopListening();
322     logger.info("chimera close model " + model.getModelName());
323     if (currentModelsMap.containsKey(ChimUtils.makeModelKey(
324             model.getModelNumber(), model.getSubModelNumber())))
325     {
326       sendChimeraCommand("close " + model.toSpec(), false);
327       // currentModelNamesMap.remove(model.getModelName());
328       currentModelsMap.remove(ChimUtils.makeModelKey(
329               model.getModelNumber(), model.getSubModelNumber()));
330       // selectionList.remove(chimeraModel);
331     }
332     else
333     {
334       logger.warn("Could not find model " + model.getModelName()
335               + " to close.");
336     }
337     startListening();
338   }
339
340   public void startListening()
341   {
342     sendChimeraCommand("listen start models; listen start select", false);
343   }
344
345   public void stopListening()
346   {
347     sendChimeraCommand("listen stop models; listen stop select", false);
348   }
349
350   /**
351    * Select something in Chimera
352    * 
353    * @param command
354    *          the selection command to pass to Chimera
355    */
356   public void select(String command)
357   {
358     sendChimeraCommand("listen stop select; " + command
359             + "; listen start select", false);
360   }
361
362   public void focus()
363   {
364     sendChimeraCommand("focus", false);
365   }
366
367   public void clearOnChimeraExit()
368   {
369     chimera = null;
370     currentModelsMap.clear();
371       this.chimeraRestPort = 0;
372     structureManager.clearOnChimeraExit();
373   }
374
375   public void exitChimera()
376   {
377     if (isChimeraLaunched() && chimera != null)
378     {
379       sendChimeraCommand("stop really", false);
380       try
381       {
382         chimera.destroy();
383       } catch (Exception ex)
384       {
385         // ignore
386       }
387     }
388     clearOnChimeraExit();
389   }
390
391   public Map<Integer, ChimeraModel> getSelectedModels()
392   {
393     Map<Integer, ChimeraModel> selectedModelsMap = new HashMap<Integer, ChimeraModel>();
394     List<String> chimeraReply = sendChimeraCommand(
395             "list selection level molecule", true);
396     if (chimeraReply != null)
397     {
398       for (String modelLine : chimeraReply)
399       {
400         ChimeraModel chimeraModel = new ChimeraModel(modelLine);
401         Integer modelKey = ChimUtils.makeModelKey(
402                 chimeraModel.getModelNumber(),
403                 chimeraModel.getSubModelNumber());
404         selectedModelsMap.put(modelKey, chimeraModel);
405       }
406     }
407     return selectedModelsMap;
408   }
409
410   public List<String> getSelectedResidueSpecs()
411   {
412     List<String> selectedResidues = new ArrayList<String>();
413     List<String> chimeraReply = sendChimeraCommand(
414             "list selection level residue", true);
415     if (chimeraReply != null)
416     {
417       for (String inputLine : chimeraReply)
418       {
419         String[] inputLineParts = inputLine.split("\\s+");
420         if (inputLineParts.length == 5)
421         {
422           selectedResidues.add(inputLineParts[2]);
423         }
424       }
425     }
426     return selectedResidues;
427   }
428
429   public void getSelectedResidues(
430           Map<Integer, ChimeraModel> selectedModelsMap)
431   {
432     List<String> chimeraReply = sendChimeraCommand(
433             "list selection level residue", true);
434     if (chimeraReply != null)
435     {
436       for (String inputLine : chimeraReply)
437       {
438         ChimeraResidue r = new ChimeraResidue(inputLine);
439         Integer modelKey = ChimUtils.makeModelKey(r.getModelNumber(),
440                 r.getSubModelNumber());
441         if (selectedModelsMap.containsKey(modelKey))
442         {
443           ChimeraModel model = selectedModelsMap.get(modelKey);
444           model.addResidue(r);
445         }
446       }
447     }
448   }
449
450   /**
451    * Return the list of ChimeraModels currently open. Warning: if smiles model
452    * name too long, only part of it with "..." is printed.
453    * 
454    * 
455    * @return List of ChimeraModel's
456    */
457   // TODO: [Optional] Handle smiles names in a better way in Chimera?
458   public List<ChimeraModel> getModelList()
459   {
460     List<ChimeraModel> modelList = new ArrayList<ChimeraModel>();
461     List<String> list = sendChimeraCommand("list models type molecule",
462             true);
463     if (list != null)
464     {
465       for (String modelLine : list)
466       {
467         ChimeraModel chimeraModel = new ChimeraModel(modelLine);
468         modelList.add(chimeraModel);
469       }
470     }
471     return modelList;
472   }
473
474   /**
475    * Return the list of depiction presets available from within Chimera. Chimera
476    * will return the list as a series of lines with the format: Preset type
477    * number "description"
478    * 
479    * @return list of presets
480    */
481   public List<String> getPresets()
482   {
483     ArrayList<String> presetList = new ArrayList<String>();
484     List<String> output = sendChimeraCommand("preset list", true);
485     if (output != null)
486     {
487       for (String preset : output)
488       {
489         preset = preset.substring(7); // Skip over the "Preset"
490         preset = preset.replaceFirst("\"", "(");
491         preset = preset.replaceFirst("\"", ")");
492         // string now looks like: type number (description)
493         presetList.add(preset);
494       }
495     }
496     return presetList;
497   }
498
499   public boolean isChimeraLaunched()
500   {
501     boolean launched = false;
502     if (chimera != null)
503     {
504       try
505       {
506         chimera.exitValue();
507         // if we get here, process has ended
508       } catch (IllegalThreadStateException e)
509       {
510         // ok - not yet terminated
511         launched = true;
512       }
513     }
514     return launched;
515   }
516
517   public boolean launchChimera(List<String> chimeraPaths)
518   {
519     // Do nothing if Chimera is already launched
520     if (isChimeraLaunched())
521     {
522       return true;
523     }
524
525     // Try to launch Chimera (eventually using one of the possible paths)
526     String error = "Error message: ";
527     String workingPath = "";
528     // iterate over possible paths for starting Chimera
529     for (String chimeraPath : chimeraPaths)
530     {
531       File path = new File(chimeraPath);
532       if (!path.canExecute())
533       {
534         error += "File '" + path + "' does not exist.\n";
535         continue;
536       }
537       try
538       {
539         List<String> args = new ArrayList<String>();
540         args.add(chimeraPath);
541         args.add("--start");
542         args.add("RESTServer");
543         ProcessBuilder pb = new ProcessBuilder(args);
544         chimera = pb.start();
545         error = "";
546         workingPath = chimeraPath;
547         break;
548       } catch (Exception e)
549       {
550         // Chimera could not be started
551         error += e.getMessage();
552       }
553     }
554     // If no error, then Chimera was launched successfully
555     if (error.length() == 0)
556     {
557       this.chimeraRestPort = getPortNumber();
558       System.out.println("Chimera REST API started on port "
559               + chimeraRestPort);
560       // structureManager.initChimTable();
561       structureManager.setChimeraPathProperty(workingPath);
562       // TODO: [Optional] Check Chimera version and show a warning if below 1.8
563       // Ask Chimera to give us updates
564       startListening();
565       return true;
566     }
567
568     // Tell the user that Chimera could not be started because of an error
569     logger.warn(error);
570     return false;
571   }
572
573   /**
574    * Read and return the port number returned in the reply to --start RESTServer
575    */
576   private int getPortNumber()
577   {
578     int port = 0;
579     InputStream readChan = chimera.getInputStream();
580     BufferedReader lineReader = new BufferedReader(new InputStreamReader(
581             readChan));
582     String response = null;
583     try
584     {
585       // expect: REST server on host 127.0.0.1 port port_number
586       response = lineReader.readLine();
587       String [] tokens = response.split(" ");
588       if (tokens.length == 7 && "port".equals(tokens[5])) {
589         port = Integer.parseInt(tokens[6]);
590         logger.info("Chimera REST service listening on port "
591                 + chimeraRestPort);
592       }
593     } catch (Exception e)
594     {
595       logger.error("Failed to get REST port number from " + response + ": "
596               + e.getMessage());
597     } finally
598     {
599       try
600       {
601         lineReader.close();
602       } catch (IOException e2)
603       {
604       }
605     }
606     return port;
607   }
608
609   /**
610    * Determine the color that Chimera is using for this model.
611    * 
612    * @param model
613    *          the ChimeraModel we want to get the Color for
614    * @return the default model Color for this model in Chimera
615    */
616   public Color getModelColor(ChimeraModel model)
617   {
618     List<String> colorLines = sendChimeraCommand(
619             "list model spec " + model.toSpec() + " attribute color", true);
620     if (colorLines == null || colorLines.size() == 0)
621     {
622       return null;
623     }
624     return ChimUtils.parseModelColor(colorLines.get(0));
625   }
626
627   /**
628    * 
629    * Get information about the residues associated with a model. This uses the
630    * Chimera listr command. We don't return the resulting residues, but we add
631    * the residues to the model.
632    * 
633    * @param model
634    *          the ChimeraModel to get residue information for
635    * 
636    */
637   public void addResidues(ChimeraModel model)
638   {
639     int modelNumber = model.getModelNumber();
640     int subModelNumber = model.getSubModelNumber();
641     // Get the list -- it will be in the reply log
642     List<String> reply = sendChimeraCommand(
643             "list residues spec " + model.toSpec(), true);
644     if (reply == null)
645     {
646       return;
647     }
648     for (String inputLine : reply)
649     {
650       ChimeraResidue r = new ChimeraResidue(inputLine);
651       if (r.getModelNumber() == modelNumber
652               || r.getSubModelNumber() == subModelNumber)
653       {
654         model.addResidue(r);
655       }
656     }
657   }
658
659   public List<String> getAttrList()
660   {
661     List<String> attributes = new ArrayList<String>();
662     final List<String> reply = sendChimeraCommand("list resattr", true);
663     if (reply != null)
664     {
665       for (String inputLine : reply)
666       {
667         String[] lineParts = inputLine.split("\\s");
668         if (lineParts.length == 2 && lineParts[0].equals("resattr"))
669         {
670           attributes.add(lineParts[1]);
671         }
672       }
673     }
674     return attributes;
675   }
676
677   public Map<ChimeraResidue, Object> getAttrValues(String aCommand,
678           ChimeraModel model)
679   {
680     Map<ChimeraResidue, Object> values = new HashMap<ChimeraResidue, Object>();
681     final List<String> reply = sendChimeraCommand("list residue spec "
682             + model.toSpec() + " attribute " + aCommand, true);
683     if (reply != null)
684     {
685       for (String inputLine : reply)
686       {
687         String[] lineParts = inputLine.split("\\s");
688         if (lineParts.length == 5)
689         {
690           ChimeraResidue residue = ChimUtils
691                   .getResidue(lineParts[2], model);
692           String value = lineParts[4];
693           if (residue != null)
694           {
695             if (value.equals("None"))
696             {
697               continue;
698             }
699             if (value.equals("True") || value.equals("False"))
700             {
701               values.put(residue, Boolean.valueOf(value));
702               continue;
703             }
704             try
705             {
706               Double doubleValue = Double.valueOf(value);
707               values.put(residue, doubleValue);
708             } catch (NumberFormatException ex)
709             {
710               values.put(residue, value);
711             }
712           }
713         }
714       }
715     }
716     return values;
717   }
718
719   private volatile boolean busy = false;
720
721   /**
722    * Send a command to Chimera.
723    * 
724    * @param command
725    *          Command string to be send.
726    * @param reply
727    *          Flag indicating whether the method should return the reply from
728    *          Chimera or not.
729    * @return List of Strings corresponding to the lines in the Chimera reply or
730    *         <code>null</code>.
731    */
732   public List<String> sendChimeraCommand(String command, boolean reply)
733   {
734     if (!isChimeraLaunched() || command == null
735             || "".equals(command.trim()))
736     {
737       return null;
738     }
739     // TODO do we need a maximum wait time before aborting?
740     while (busy)
741     {
742       try
743       {
744         Thread.sleep(25);
745       } catch (InterruptedException q)
746       {
747       }
748     }
749     busy = true;
750     long startTime = System.currentTimeMillis();
751     try
752     {
753       return sendRestCommand(command);
754     } finally
755     {
756       /*
757        * Make sure busy flag is reset come what may!
758        */
759       busy = false;
760       if (debug)
761       {
762         System.out.println("Chimera command took "
763                 + (System.currentTimeMillis() - startTime) + "ms: "
764                 + command);
765       }
766
767     }
768   }
769
770   /**
771    * Sends the command to Chimera's REST API, and returns any response lines.
772    * 
773    * @param command
774    * @return
775    */
776   protected List<String> sendRestCommand(String command)
777   {
778     // TODO start a separate thread to do this so we don't block?
779     String restUrl = "http://127.0.0.1:" + this.chimeraRestPort + "/run";
780     List<NameValuePair> commands = new ArrayList<NameValuePair>(1);
781     commands.add(new BasicNameValuePair("command", command));
782
783     List<String> reply = new ArrayList<String>();
784     BufferedReader response = null;
785     try {
786       response = HttpClientUtils.doHttpUrlPost(restUrl,
787               commands);
788       String line = "";
789       while ((line = response.readLine()) != null) {
790         reply.add(line);
791       }
792     } catch (Exception e)
793     {
794       logger.error("REST call " + command + " failed: " + e.getMessage());
795     } finally
796     {
797       if (response != null)
798       {
799         try
800         {
801           response.close();
802         } catch (IOException e)
803         {
804         }
805       }
806     }
807     return reply;
808   }
809
810   /**
811    * Send a command to stdin of Chimera process, and optionally read any
812    * responses.
813    * 
814    * @param command
815    * @param readReply
816    * @return
817    */
818   protected List<String> sendStdinCommand(String command, boolean readReply)
819   {
820     chimeraListenerThread.clearResponse(command);
821     String text = command.concat("\n");
822     try
823     {
824       // send the command
825       chimera.getOutputStream().write(text.getBytes());
826       chimera.getOutputStream().flush();
827     } catch (IOException e)
828     {
829       // logger.info("Unable to execute command: " + text);
830       // logger.info("Exiting...");
831       logger.warn("Unable to execute command: " + text);
832       logger.warn("Exiting...");
833       clearOnChimeraExit();
834       return null;
835     }
836     if (!readReply)
837     {
838       return null;
839     }
840     List<String> rsp = chimeraListenerThread.getResponse(command);
841     return rsp;
842   }
843
844   public StructureManager getStructureManager()
845   {
846     return structureManager;
847   }
848
849   public boolean isBusy()
850   {
851     return busy;
852   }
853
854 }