30f927221a294ccb348e8a291e2e31038f7d18aa
[jalview.git] / src / jalview / ws / jws1 / JPredThread.java
1 /*
2  * Jalview - A Sequence Alignment Editor and Viewer (Version 2.9.0b1)
3  * Copyright (C) 2015 The Jalview Authors
4  * 
5  * This file is part of Jalview.
6  * 
7  * Jalview is free software: you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License 
9  * as published by the Free Software Foundation, either version 3
10  * of the License, or (at your option) any later version.
11  *  
12  * Jalview is distributed in the hope that it will be useful, but 
13  * WITHOUT ANY WARRANTY; without even the implied warranty 
14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR 
15  * PURPOSE.  See the GNU General Public License for more details.
16  * 
17  * You should have received a copy of the GNU General Public License
18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
19  * The Jalview Authors are detailed in the 'AUTHORS' file.
20  */
21 package jalview.ws.jws1;
22
23 import jalview.analysis.AlignSeq;
24 import jalview.bin.Cache;
25 import jalview.datamodel.Alignment;
26 import jalview.datamodel.AlignmentAnnotation;
27 import jalview.datamodel.AlignmentI;
28 import jalview.datamodel.AlignmentView;
29 import jalview.datamodel.ColumnSelection;
30 import jalview.datamodel.SequenceI;
31 import jalview.gui.AlignFrame;
32 import jalview.gui.Desktop;
33 import jalview.gui.WebserviceInfo;
34 import jalview.io.FormatAdapter;
35 import jalview.util.Comparison;
36 import jalview.util.MessageManager;
37 import jalview.ws.AWsJob;
38 import jalview.ws.JobStateSummary;
39 import jalview.ws.WSClientI;
40
41 import java.util.Hashtable;
42 import java.util.List;
43
44 import vamsas.objects.simple.JpredResult;
45
46 class JPredThread extends JWS1Thread implements WSClientI
47 {
48   // TODO: put mapping between JPredJob input and input data here -
49   // JNetAnnotation adding is done after result parsing.
50   class JPredJob extends WSJob
51   {
52     // TODO: make JPredJob deal only with what was sent to and received from a
53     // JNet service
54     int[] predMap = null; // mapping from sequence(i) to the original
55
56     // sequence(predMap[i]) being predicted on
57
58     vamsas.objects.simple.Sequence sequence;
59
60     vamsas.objects.simple.Msfalignment msa;
61
62     java.util.Hashtable SequenceInfo = null;
63
64     int msaIndex = 0; // the position of the original sequence in the array of
65
66     // Sequences in the input object that this job holds a
67     // prediction for
68
69     /**
70      * 
71      * @return true if getResultSet will return a valid alignment and prediction
72      *         result.
73      */
74     public boolean hasResults()
75     {
76       if (subjobComplete && result != null && result.isFinished()
77               && ((JpredResult) result).getPredfile() != null
78               && ((JpredResult) result).getAligfile() != null)
79       {
80         return true;
81       }
82       return false;
83     }
84
85     public boolean hasValidInput()
86     {
87       if (sequence != null)
88       {
89         return true;
90       }
91       return false;
92     }
93
94     /**
95      * 
96      * @return null or Object[] { annotated alignment for this prediction,
97      *         ColumnSelection for this prediction} or null if no results
98      *         available.
99      * @throws Exception
100      */
101     public Object[] getResultSet() throws Exception
102     {
103       if (result == null || !result.isFinished())
104       {
105         return null;
106       }
107       AlignmentI al = null;
108       ColumnSelection alcsel = null;
109       int FirstSeq = -1; // the position of the query sequence in Alignment al
110
111       JpredResult result = (JpredResult) this.result;
112
113       jalview.bin.Cache.log.debug("Parsing output from JNet job.");
114       // JPredFile prediction = new JPredFile("C:/JalviewX/files/jpred.txt",
115       // "File");
116       jalview.io.JPredFile prediction = new jalview.io.JPredFile(
117               result.getPredfile(), "Paste");
118       SequenceI[] preds = prediction.getSeqsAsArray();
119       jalview.bin.Cache.log.debug("Got prediction profile.");
120
121       if ((this.msa != null) && (result.getAligfile() != null))
122       {
123         jalview.bin.Cache.log.debug("Getting associated alignment.");
124         // we ignore the returned alignment if we only predicted on a single
125         // sequence
126         String format = new jalview.io.IdentifyFile().Identify(
127                 result.getAligfile(), "Paste");
128
129         if (jalview.io.FormatAdapter.isValidFormat(format))
130         {
131           SequenceI sqs[];
132           if (predMap != null)
133           {
134             Object[] alandcolsel = input
135                     .getAlignmentAndColumnSelection(getGapChar());
136             sqs = (SequenceI[]) alandcolsel[0];
137             al = new Alignment(sqs);
138             alcsel = (ColumnSelection) alandcolsel[1];
139           }
140           else
141           {
142             al = new FormatAdapter().readFile(result.getAligfile(),
143                     "Paste", format);
144             sqs = new SequenceI[al.getHeight()];
145
146             for (int i = 0, j = al.getHeight(); i < j; i++)
147             {
148               sqs[i] = al.getSequenceAt(i);
149             }
150             if (!jalview.analysis.SeqsetUtils.deuniquify(SequenceInfo, sqs))
151             {
152               throw (new Exception(
153                       MessageManager
154                               .getString("exception.couldnt_recover_sequence_properties_for_alignment")));
155             }
156           }
157           FirstSeq = 0;
158           if (currentView.getDataset() != null)
159           {
160             al.setDataset(currentView.getDataset());
161
162           }
163           else
164           {
165             al.setDataset(null);
166           }
167           jalview.io.JnetAnnotationMaker.add_annotation(prediction, al,
168                   FirstSeq, false, predMap);
169
170         }
171         else
172         {
173           throw (new Exception(MessageManager.formatMessage(
174                   "exception.unknown_format_for_file", new String[] {
175                       format, result.getAligfile() })));
176         }
177       }
178       else
179       {
180         al = new Alignment(preds);
181         FirstSeq = prediction.getQuerySeqPosition();
182         if (predMap != null)
183         {
184           char gc = getGapChar();
185           SequenceI[] sqs = (SequenceI[]) input
186                   .getAlignmentAndColumnSelection(gc)[0];
187           if (this.msaIndex >= sqs.length)
188           {
189             throw new Error(
190                     MessageManager
191                             .getString("error.implementation_error_invalid_msa_index_for_job"));
192           }
193
194           // ///
195           // Uses RemoveGapsCommand
196           // ///
197           new jalview.commands.RemoveGapsCommand(
198                   MessageManager.getString("label.remove_gaps"),
199                   new SequenceI[] { sqs[msaIndex] }, currentView);
200
201           SequenceI profileseq = al.getSequenceAt(FirstSeq);
202           profileseq.setSequence(sqs[msaIndex].getSequenceAsString());
203         }
204
205         if (!jalview.analysis.SeqsetUtils.SeqCharacterUnhash(
206                 al.getSequenceAt(FirstSeq), SequenceInfo))
207         {
208           throw (new Exception(
209                   MessageManager
210                           .getString("exception.couldnt_recover_sequence_props_for_jnet_query")));
211         }
212         else
213         {
214           if (currentView.getDataset() != null)
215           {
216             al.setDataset(currentView.getDataset());
217
218           }
219           else
220           {
221             al.setDataset(null);
222           }
223           jalview.io.JnetAnnotationMaker.add_annotation(prediction, al,
224                   FirstSeq, true, predMap);
225           SequenceI profileseq = al.getSequenceAt(0); // this includes any gaps.
226           alignToProfileSeq(al, profileseq);
227           if (predMap != null)
228           {
229             // Adjust input view for gaps
230             // propagate insertions into profile
231             alcsel = ColumnSelection.propagateInsertions(profileseq, al,
232                     input);
233           }
234         }
235       }
236       // transfer to dataset
237       for (AlignmentAnnotation alant : al.getAlignmentAnnotation())
238       {
239         if (alant.sequenceRef != null)
240         {
241           replaceAnnotationOnAlignmentWith(alant, alant.label,
242                   "jalview.jws1.Jpred" + (this.msa == null ? "" : "MSA"),
243                   alant.sequenceRef);
244         }
245       }
246       return new Object[] { al, alcsel }; // , FirstSeq, noMsa};
247     }
248
249     /**
250      * copied from JabawsCalcWorker
251      * 
252      * @param newAnnot
253      * @param typeName
254      * @param calcId
255      * @param aSeq
256      */
257     protected void replaceAnnotationOnAlignmentWith(
258             AlignmentAnnotation newAnnot, String typeName, String calcId,
259             SequenceI aSeq)
260     {
261       SequenceI dsseq = aSeq.getDatasetSequence();
262       while (dsseq.getDatasetSequence() != null)
263       {
264         dsseq = dsseq.getDatasetSequence();
265       }
266       // look for same annotation on dataset and lift this one over
267       List<AlignmentAnnotation> dsan = dsseq.getAlignmentAnnotations(
268               calcId, typeName);
269       if (dsan != null && dsan.size() > 0)
270       {
271         for (AlignmentAnnotation dssan : dsan)
272         {
273           dsseq.removeAlignmentAnnotation(dssan);
274         }
275       }
276       AlignmentAnnotation dssan = new AlignmentAnnotation(newAnnot);
277       dsseq.addAlignmentAnnotation(dssan);
278       dssan.adjustForAlignment();
279     }
280
281     /**
282      * Given an alignment where all other sequences except profileseq are
283      * aligned to the ungapped profileseq, insert gaps in the other sequences to
284      * realign them with the residues in profileseq
285      * 
286      * @param al
287      * @param profileseq
288      */
289     private void alignToProfileSeq(AlignmentI al, SequenceI profileseq)
290     {
291       char gc = al.getGapCharacter();
292       int[] gapMap = profileseq.gapMap();
293       // insert gaps into profile
294       for (int lp = 0, r = 0; r < gapMap.length; r++)
295       {
296         if (gapMap[r] - lp > 1)
297         {
298           StringBuffer sb = new StringBuffer();
299           for (int s = 0, ns = gapMap[r] - lp; s < ns; s++)
300           {
301             sb.append(gc);
302           }
303           for (int s = 1, ns = al.getHeight(); s < ns; s++)
304           {
305             String sq = al.getSequenceAt(s).getSequenceAsString();
306             int diff = gapMap[r] - sq.length();
307             if (diff > 0)
308             {
309               // pad gaps
310               sq = sq + sb;
311               while ((diff = gapMap[r] - sq.length()) > 0)
312               {
313                 sq = sq
314                         + ((diff >= sb.length()) ? sb.toString() : sb
315                                 .substring(0, diff));
316               }
317               al.getSequenceAt(s).setSequence(sq);
318             }
319             else
320             {
321               al.getSequenceAt(s).setSequence(
322                       sq.substring(0, gapMap[r]) + sb.toString()
323                               + sq.substring(gapMap[r]));
324             }
325           }
326         }
327         lp = gapMap[r];
328       }
329     }
330
331     public JPredJob(Hashtable SequenceInfo, SequenceI seq, int[] delMap)
332     {
333       super();
334       this.predMap = delMap;
335       String sq = AlignSeq.extractGaps(Comparison.GapChars,
336               seq.getSequenceAsString());
337       if (sq.length() >= 20)
338       {
339         this.SequenceInfo = SequenceInfo;
340         sequence = new vamsas.objects.simple.Sequence();
341         sequence.setId(seq.getName());
342         sequence.setSeq(sq);
343       }
344       else
345       {
346         errorMessage = "Sequence is too short to predict with JPred - need at least 20 amino acids.";
347       }
348     }
349
350     public JPredJob(Hashtable SequenceInfo, SequenceI[] msf, int[] delMap)
351     {
352       this(SequenceInfo, msf[0], delMap);
353       if (sequence != null)
354       {
355         if (msf.length > 1)
356         {
357           msa = new vamsas.objects.simple.Msfalignment();
358           jalview.io.PileUpfile pileup = new jalview.io.PileUpfile();
359           msa.setMsf(pileup.print(msf));
360         }
361       }
362     }
363
364     String errorMessage = "";
365
366     public String getValidationMessages()
367     {
368       return errorMessage + "\n";
369     }
370   }
371
372   ext.vamsas.Jpred server;
373
374   String altitle = "";
375
376   JPredThread(WebserviceInfo wsinfo, String altitle,
377           ext.vamsas.Jpred server, String wsurl, AlignmentView alview,
378           AlignFrame alframe)
379   {
380     super(alframe, wsinfo, alview, wsurl);
381     this.altitle = altitle;
382     this.server = server;
383   }
384
385   JPredThread(WebserviceInfo wsinfo, String altitle,
386           ext.vamsas.Jpred server, String wsurl, Hashtable SequenceInfo,
387           SequenceI seq, int[] delMap, AlignmentView alview,
388           AlignFrame alframe)
389   {
390     this(wsinfo, altitle, server, wsurl, alview, alframe);
391     JPredJob job = new JPredJob(SequenceInfo, seq, delMap);
392     if (job.hasValidInput())
393     {
394       OutputHeader = wsInfo.getProgressText();
395       jobs = new WSJob[] { job };
396       job.setJobnum(0);
397     }
398     else
399     {
400       wsInfo.appendProgressText(job.getValidationMessages());
401     }
402   }
403
404   JPredThread(WebserviceInfo wsinfo, String altitle,
405           ext.vamsas.Jpred server, Hashtable SequenceInfo, SequenceI[] msf,
406           int[] delMap, AlignmentView alview, AlignFrame alframe,
407           String wsurl)
408   {
409     this(wsinfo, altitle, server, wsurl, alview, alframe);
410     JPredJob job = new JPredJob(SequenceInfo, msf, delMap);
411     if (job.hasValidInput())
412     {
413       jobs = new WSJob[] { job };
414       OutputHeader = wsInfo.getProgressText();
415       job.setJobnum(0);
416     }
417     else
418     {
419       wsInfo.appendProgressText(job.getValidationMessages());
420     }
421   }
422
423   public void StartJob(AWsJob j)
424   {
425     if (!(j instanceof JPredJob))
426     {
427       throw new Error(MessageManager.formatMessage(
428               "error.implementation_error_startjob_called",
429               new String[] { j.getClass().toString() }));
430     }
431     try
432     {
433       JPredJob job = (JPredJob) j;
434       if (job.msa != null)
435       {
436         job.setJobId(server.predictOnMsa(job.msa));
437       }
438       else if (job.sequence != null)
439       {
440         job.setJobId(server.predict(job.sequence)); // debug like : job.jobId =
441         // "/jobs/www-jpred/jp_Yatat29";//
442       }
443
444       if (job.getJobId() != null)
445       {
446         if (job.getJobId().startsWith("Broken"))
447         {
448           job.result = new JpredResult();
449           job.result.setInvalid(true);
450           job.result.setStatus(MessageManager.formatMessage(
451                   "label.submission_params", new String[] { job.getJobId()
452                           .toString() }));
453           throw new Exception(job.getJobId());
454         }
455         else
456         {
457           job.setSubmitted(true);
458           job.setSubjobComplete(false);
459           Cache.log.info(WsUrl + " Job Id '" + job.getJobId() + "'");
460         }
461       }
462       else
463       {
464         throw new Exception(
465                 MessageManager
466                         .getString("exception.server_timeout_try_later"));
467       }
468     } catch (Exception e)
469     {
470       // kill the whole job.
471       wsInfo.setStatus(WebserviceInfo.STATE_STOPPED_SERVERERROR);
472       if (e.getMessage().indexOf("Exception") > -1)
473       {
474         wsInfo.setStatus(j.getJobnum(),
475                 WebserviceInfo.STATE_STOPPED_SERVERERROR);
476         wsInfo.setProgressText(
477                 j.getJobnum(),
478                 "Failed to submit the prediction. (Just close the window)\n"
479                         + "It is most likely that there is a problem with the server.\n");
480         System.err
481                 .println("JPredWS Client: Failed to submit the prediction. Quite possibly because of a server error - see below)\n"
482                         + e.getMessage() + "\n");
483
484         jalview.bin.Cache.log.warn("Server Exception", e);
485       }
486       else
487       {
488         wsInfo.setStatus(j.getJobnum(), WebserviceInfo.STATE_STOPPED_ERROR);
489         // JBPNote - this could be a popup informing the user of the problem.
490         wsInfo.appendProgressText(j.getJobnum(), MessageManager
491                 .formatMessage(
492                         "info.failed_to_submit_prediction",
493                         new String[] { e.getMessage(),
494                             wsInfo.getProgressText() }));
495
496         jalview.bin.Cache.log.debug(
497                 "Failed Submission of job " + j.getJobnum(), e);
498
499       }
500       j.setAllowedServerExceptions(-1);
501       j.setSubjobComplete(true);
502     }
503   }
504
505   public void parseResult()
506   {
507     int results = 0; // number of result sets received
508     JobStateSummary finalState = new JobStateSummary();
509     try
510     {
511       for (int j = 0; j < jobs.length; j++)
512       {
513         finalState.updateJobPanelState(wsInfo, OutputHeader, jobs[j]);
514         if (jobs[j].isSubmitted() && jobs[j].isSubjobComplete()
515                 && jobs[j].hasResults())
516         {
517           results++;
518         }
519       }
520     } catch (Exception ex)
521     {
522
523       Cache.log.error("Unexpected exception when processing results for "
524               + altitle, ex);
525       wsInfo.setStatus(WebserviceInfo.STATE_STOPPED_ERROR);
526     }
527     if (results > 0)
528     {
529       wsInfo.showResultsNewFrame
530               .addActionListener(new java.awt.event.ActionListener()
531               {
532                 public void actionPerformed(java.awt.event.ActionEvent evt)
533                 {
534                   displayResults(true);
535                 }
536               });
537       wsInfo.mergeResults
538               .addActionListener(new java.awt.event.ActionListener()
539               {
540                 public void actionPerformed(java.awt.event.ActionEvent evt)
541                 {
542                   displayResults(false);
543                 }
544               });
545       wsInfo.setResultsReady();
546     }
547     else
548     {
549       wsInfo.setStatus(wsInfo.STATE_STOPPED_ERROR);
550       wsInfo.appendInfoText("No jobs ran.");
551       wsInfo.setFinishedNoResults();
552     }
553   }
554
555   void displayResults(boolean newWindow)
556   {
557     // TODO: cope with multiple subjobs.
558     if (jobs != null)
559     {
560       Object[] res = null;
561       boolean msa = false;
562       for (int jn = 0; jn < jobs.length; jn++)
563       {
564         Object[] jobres = null;
565         JPredJob j = (JPredJob) jobs[jn];
566
567         if (j.hasResults())
568         {
569           // hack - we only deal with all single seuqence predictions or all
570           // profile predictions
571           msa = (j.msa != null) ? true : msa;
572           try
573           {
574             jalview.bin.Cache.log.debug("Parsing output of job " + jn);
575             jobres = j.getResultSet();
576             jalview.bin.Cache.log.debug("Finished parsing output.");
577             if (jobs.length == 1)
578             {
579               res = jobres;
580             }
581             else
582             {
583               // do merge with other job results
584               throw new Error(
585                       MessageManager
586                               .getString("error.multiple_jnet_subjob_merge_not_implemented"));
587             }
588           } catch (Exception e)
589           {
590             jalview.bin.Cache.log.error(
591                     "JNet Client: JPred Annotation Parse Error", e);
592             wsInfo.setStatus(j.getJobnum(),
593                     WebserviceInfo.STATE_STOPPED_ERROR);
594             wsInfo.appendProgressText(j.getJobnum(), MessageManager
595                     .formatMessage("info.invalid_jnet_job_result_data",
596                             new String[] { OutputHeader.toString(),
597                                 j.result.getStatus(), e.getMessage() }));
598             j.result.setBroken(true);
599           }
600         }
601       }
602
603       if (res != null)
604       {
605         if (newWindow)
606         {
607           AlignFrame af;
608           ((AlignmentI) res[0]).setSeqrep(((AlignmentI) res[0])
609                   .getSequenceAt(0));
610           if (input == null)
611           {
612             if (res[1] != null)
613             {
614               af = new AlignFrame((Alignment) res[0],
615                       (ColumnSelection) res[1], AlignFrame.DEFAULT_WIDTH,
616                       AlignFrame.DEFAULT_HEIGHT);
617             }
618             else
619             {
620               af = new AlignFrame((Alignment) res[0],
621                       AlignFrame.DEFAULT_WIDTH, AlignFrame.DEFAULT_HEIGHT);
622             }
623           }
624           else
625           {
626             /*
627              * java.lang.Object[] alandcolsel =
628              * input.getAlignmentAndColumnSelection
629              * (alignFrame.getViewport().getGapCharacter()); if
630              * (((SequenceI[])alandcolsel[0])[0].getLength()!=res.getWidth()) {
631              * if (msa) { throw new Error("Implementation Error! ColumnSelection
632              * from input alignment will not map to result alignment!"); } } if
633              * (!msa) { // update hidden regions to account for loss of gaps in
634              * profile. - if any // gapMap returns insert list, interpreted as
635              * delete list by pruneDeletions //((ColumnSelection)
636              * alandcolsel[1]).pruneDeletions(ShiftList.parseMap(((SequenceI[])
637              * alandcolsel[0])[0].gapMap())); }
638              */
639
640             af = new AlignFrame((Alignment) res[0],
641                     (ColumnSelection) res[1], AlignFrame.DEFAULT_WIDTH,
642                     AlignFrame.DEFAULT_HEIGHT);
643           }
644           Desktop.addInternalFrame(af, altitle, AlignFrame.DEFAULT_WIDTH,
645                   AlignFrame.DEFAULT_HEIGHT);
646         }
647         else
648         {
649           Cache.log.info("Append results onto existing alignment.");
650         }
651       }
652     }
653   }
654
655   public void pollJob(AWsJob job) throws Exception
656   {
657     ((JPredJob) job).result = server.getresult(job.getJobId());
658   }
659
660   public boolean isCancellable()
661   {
662     return false;
663   }
664
665   public void cancelJob()
666   {
667     throw new Error(MessageManager.getString("error.implementation_error"));
668   }
669
670   public boolean canMergeResults()
671   {
672     return false;
673   }
674
675 }