src/jalview/ws/jws1/MsaWSThread.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer (Version 2.8.2b1)
   3  * Copyright (C) 2014 The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.ws.jws1;
  22
  23 import java.util.*;
  24
  25 import jalview.analysis.*;
  26 import jalview.bin.*;
  27 import jalview.datamodel.*;
  28 import jalview.gui.*;
  29 import jalview.util.MessageManager;
  30 import jalview.ws.AWsJob;
  31 import jalview.ws.JobStateSummary;
  32 import jalview.ws.WSClientI;
  33 import vamsas.objects.simple.MsaResult;
  34
  35 class MsaWSThread extends JWS1Thread implements WSClientI
  36 {
  37   boolean submitGaps = false; // pass sequences including gaps to alignment
  38
  39   // service
  40
  41   boolean preserveOrder = true; // and always store and recover sequence
  42
  43   // order
  44
  45   class MsaWSJob extends WSJob
  46   {
  47     // hold special input for this
  48     vamsas.objects.simple.SequenceSet seqs = new vamsas.objects.simple.SequenceSet();
  49
  50     /**
  51      * MsaWSJob
  52      *
  53      * @param jobNum
  54      *          int
  55      * @param jobId
  56      *          String
  57      */
  58     public MsaWSJob(int jobNum, SequenceI[] inSeqs)
  59     {
  60       this.jobnum = jobNum;
  61       if (!prepareInput(inSeqs, 2))
  62       {
  63         submitted = true;
  64         subjobComplete = true;
  65         result = new MsaResult();
  66         result.setFinished(true);
  67         result.setStatus(MessageManager.getString("label.job_never_ran"));
  68       }
  69
  70     }
  71
  72     Hashtable SeqNames = new Hashtable();
  73
  74     Vector emptySeqs = new Vector();
  75
  76     /**
  77      * prepare input sequences for MsaWS service
  78      *
  79      * @param seqs
  80      *          jalview sequences to be prepared
  81      * @param minlen
  82      *          minimum number of residues required for this MsaWS service
  83      * @return true if seqs contains sequences to be submitted to service.
  84      */
  85     private boolean prepareInput(SequenceI[] seqs, int minlen)
  86     {
  87       int nseqs = 0;
  88       if (minlen < 0)
  89       {
  90         throw new Error(MessageManager.getString("error.implementation_error_minlen_must_be_greater_zero"));
  91       }
  92       for (int i = 0; i < seqs.length; i++)
  93       {
  94         if (seqs[i].getEnd() - seqs[i].getStart() > minlen - 1)
  95         {
  96           nseqs++;
  97         }
  98       }
  99       boolean valid = nseqs > 1; // need at least two seqs
 100       vamsas.objects.simple.Sequence[] seqarray = (valid) ? new vamsas.objects.simple.Sequence[nseqs]
 101               : null;
 102       for (int i = 0, n = 0; i < seqs.length; i++)
 103       {
 104
 105         String newname = jalview.analysis.SeqsetUtils.unique_name(i); // same
 106         // for
 107         // any
 108         // subjob
 109         SeqNames.put(newname,
 110                 jalview.analysis.SeqsetUtils.SeqCharacterHash(seqs[i]));
 111         if (valid && seqs[i].getEnd() - seqs[i].getStart() > minlen - 1)
 112         {
 113           seqarray[n] = new vamsas.objects.simple.Sequence();
 114           seqarray[n].setId(newname);
 115           seqarray[n++].setSeq((submitGaps) ? seqs[i].getSequenceAsString()
 116                   : AlignSeq.extractGaps(jalview.util.Comparison.GapChars,
 117                           seqs[i].getSequenceAsString()));
 118         }
 119         else
 120         {
 121           String empty = null;
 122           if (seqs[i].getEnd() >= seqs[i].getStart())
 123           {
 124             empty = (submitGaps) ? seqs[i].getSequenceAsString() : AlignSeq
 125                     .extractGaps(jalview.util.Comparison.GapChars,
 126                             seqs[i].getSequenceAsString());
 127           }
 128           emptySeqs.add(new String[]
 129           { newname, empty });
 130         }
 131       }
 132       this.seqs = new vamsas.objects.simple.SequenceSet();
 133       this.seqs.setSeqs(seqarray);
 134       return valid;
 135     }
 136
 137     /**
 138      *
 139      * @return true if getAlignment will return a valid alignment result.
 140      */
 141     public boolean hasResults()
 142     {
 143       if (subjobComplete && result != null && result.isFinished()
 144               && ((MsaResult) result).getMsa() != null
 145               && ((MsaResult) result).getMsa().getSeqs() != null)
 146       {
 147         return true;
 148       }
 149       return false;
 150     }
 151
 152     public Object[] getAlignment()
 153     {
 154
 155       if (result != null && result.isFinished())
 156       {
 157         SequenceI[] alseqs = null;
 158         char alseq_gapchar = '-';
 159         int alseq_l = 0;
 160         if (((MsaResult) result).getMsa() != null)
 161         {
 162           alseqs = getVamsasAlignment(((MsaResult) result).getMsa());
 163           alseq_gapchar = ((MsaResult) result).getMsa().getGapchar()
 164                   .charAt(0);
 165           alseq_l = alseqs.length;
 166         }
 167         if (emptySeqs.size() > 0)
 168         {
 169           SequenceI[] t_alseqs = new SequenceI[alseq_l + emptySeqs.size()];
 170           // get width
 171           int i, w = 0;
 172           if (alseq_l > 0)
 173           {
 174             for (i = 0, w = alseqs[0].getLength(); i < alseq_l; i++)
 175             {
 176               if (w < alseqs[i].getLength())
 177               {
 178                 w = alseqs[i].getLength();
 179               }
 180               t_alseqs[i] = alseqs[i];
 181               alseqs[i] = null;
 182             }
 183           }
 184           // check that aligned width is at least as wide as emptySeqs width.
 185           int ow = w, nw = w;
 186           for (i = 0, w = emptySeqs.size(); i < w; i++)
 187           {
 188             String[] es = (String[]) emptySeqs.get(i);
 189             if (es != null && es[1] != null)
 190             {
 191               int sw = es[1].length();
 192               if (nw < sw)
 193               {
 194                 nw = sw;
 195               }
 196             }
 197           }
 198           // make a gapped string.
 199           StringBuffer insbuff = new StringBuffer(w);
 200           for (i = 0; i < nw; i++)
 201           {
 202             insbuff.append(alseq_gapchar);
 203           }
 204           if (ow < nw)
 205           {
 206             for (i = 0; i < alseq_l; i++)
 207             {
 208               int sw = t_alseqs[i].getLength();
 209               if (nw > sw)
 210               {
 211                 // pad at end
 212                 alseqs[i].setSequence(t_alseqs[i].getSequenceAsString()
 213                         + insbuff.substring(0, sw - nw));
 214               }
 215             }
 216           }
 217           for (i = 0, w = emptySeqs.size(); i < w; i++)
 218           {
 219             String[] es = (String[]) emptySeqs.get(i);
 220             if (es[1] == null)
 221             {
 222               t_alseqs[i + alseq_l] = new jalview.datamodel.Sequence(es[0],
 223                       insbuff.toString(), 1, 0);
 224             }
 225             else
 226             {
 227               if (es[1].length() < nw)
 228               {
 229                 t_alseqs[i + alseq_l] = new jalview.datamodel.Sequence(
 230                         es[0],
 231                         es[1] + insbuff.substring(0, nw - es[1].length()),
 232                         1, 1 + es[1].length());
 233               }
 234               else
 235               {
 236                 t_alseqs[i + alseq_l] = new jalview.datamodel.Sequence(
 237                         es[0], es[1]);
 238               }
 239             }
 240           }
 241           alseqs = t_alseqs;
 242         }
 243         AlignmentOrder msaorder = new AlignmentOrder(alseqs);
 244         // always recover the order - makes parseResult()'s life easier.
 245         jalview.analysis.AlignmentSorter.recoverOrder(alseqs);
 246         // account for any missing sequences
 247         jalview.analysis.SeqsetUtils.deuniquify(SeqNames, alseqs);
 248         return new Object[]
 249         { alseqs, msaorder };
 250       }
 251       return null;
 252     }
 253
 254     /**
 255      * mark subjob as cancelled and set result object appropriatly
 256      */
 257     void cancel()
 258     {
 259       cancelled = true;
 260       subjobComplete = true;
 261       result = null;
 262     }
 263
 264     /**
 265      *
 266      * @return boolean true if job can be submitted.
 267      */
 268     public boolean hasValidInput()
 269     {
 270       if (seqs.getSeqs() != null)
 271       {
 272         return true;
 273       }
 274       return false;
 275     }
 276   }
 277
 278   String alTitle; // name which will be used to form new alignment window.
 279
 280   Alignment dataset; // dataset to which the new alignment will be
 281
 282   // associated.
 283
 284   ext.vamsas.MuscleWS server = null;
 285
 286   /**
 287    * set basic options for this (group) of Msa jobs
 288    *
 289    * @param subgaps
 290    *          boolean
 291    * @param presorder
 292    *          boolean
 293    */
 294   MsaWSThread(ext.vamsas.MuscleWS server, String wsUrl,
 295           WebserviceInfo wsinfo, jalview.gui.AlignFrame alFrame,
 296           AlignmentView alview, String wsname, boolean subgaps,
 297           boolean presorder)
 298   {
 299     super(alFrame, wsinfo, alview, wsname, wsUrl);
 300     this.server = server;
 301     this.submitGaps = subgaps;
 302     this.preserveOrder = presorder;
 303   }
 304
 305   /**
 306    * create one or more Msa jobs to align visible seuqences in _msa
 307    *
 308    * @param title
 309    *          String
 310    * @param _msa
 311    *          AlignmentView
 312    * @param subgaps
 313    *          boolean
 314    * @param presorder
 315    *          boolean
 316    * @param seqset
 317    *          Alignment
 318    */
 319   MsaWSThread(ext.vamsas.MuscleWS server, String wsUrl,
 320           WebserviceInfo wsinfo, jalview.gui.AlignFrame alFrame,
 321           String wsname, String title, AlignmentView _msa, boolean subgaps,
 322           boolean presorder, Alignment seqset)
 323   {
 324     this(server, wsUrl, wsinfo, alFrame, _msa, wsname, subgaps, presorder);
 325     OutputHeader = wsInfo.getProgressText();
 326     alTitle = title;
 327     dataset = seqset;
 328
 329     SequenceI[][] conmsa = _msa.getVisibleContigs('-');
 330     if (conmsa != null)
 331     {
 332       int njobs = conmsa.length;
 333       jobs = new MsaWSJob[njobs];
 334       for (int j = 0; j < njobs; j++)
 335       {
 336         if (j != 0)
 337         {
 338           jobs[j] = new MsaWSJob(wsinfo.addJobPane(), conmsa[j]);
 339         }
 340         else
 341         {
 342           jobs[j] = new MsaWSJob(0, conmsa[j]);
 343         }
 344         if (njobs > 0)
 345         {
 346           wsinfo.setProgressName("region " + jobs[j].getJobnum(),
 347                   jobs[j].getJobnum());
 348         }
 349         wsinfo.setProgressText(jobs[j].getJobnum(), OutputHeader);
 350       }
 351     }
 352   }
 353
 354   public boolean isCancellable()
 355   {
 356     return true;
 357   }
 358
 359   public void cancelJob()
 360   {
 361     if (!jobComplete && jobs != null)
 362     {
 363       boolean cancelled = true;
 364       for (int job = 0; job < jobs.length; job++)
 365       {
 366         if (jobs[job].isSubmitted() && !jobs[job].isSubjobComplete())
 367         {
 368           String cancelledMessage = "";
 369           try
 370           {
 371             vamsas.objects.simple.WsJobId cancelledJob = server
 372                     .cancel(jobs[job].getJobId());
 373             if (cancelledJob.getStatus() == 2)
 374             {
 375               // CANCELLED_JOB
 376               cancelledMessage = "Job cancelled.";
 377               ((MsaWSJob) jobs[job]).cancel();
 378               wsInfo.setStatus(jobs[job].getJobnum(),
 379                       WebserviceInfo.STATE_CANCELLED_OK);
 380             }
 381             else if (cancelledJob.getStatus() == 3)
 382             {
 383               // VALID UNSTOPPABLE JOB
 384               cancelledMessage += "Server cannot cancel this job. just close the window.\n";
 385               cancelled = false;
 386               // wsInfo.setStatus(jobs[job].jobnum,
 387               // WebserviceInfo.STATE_RUNNING);
 388             }
 389
 390             if (cancelledJob.getJobId() != null)
 391             {
 392               cancelledMessage += ("[" + cancelledJob.getJobId() + "]");
 393             }
 394
 395             cancelledMessage += "\n";
 396           } catch (Exception exc)
 397           {
 398             cancelledMessage += ("\nProblems cancelling the job : Exception received...\n"
 399                     + exc + "\n");
 400             Cache.log.warn(
 401                     "Exception whilst cancelling " + jobs[job].getJobId(),
 402                     exc);
 403           }
 404           wsInfo.setProgressText(jobs[job].getJobnum(), OutputHeader
 405                   + cancelledMessage + "\n");
 406         }
 407       }
 408       if (cancelled)
 409       {
 410         wsInfo.setStatus(WebserviceInfo.STATE_CANCELLED_OK);
 411         jobComplete = true;
 412       }
 413       this.interrupt(); // kick thread to update job states.
 414     }
 415     else
 416     {
 417       if (!jobComplete)
 418       {
 419         wsInfo.setProgressText(OutputHeader
 420                 + "Server cannot cancel this job because it has not been submitted properly. just close the window.\n");
 421       }
 422     }
 423   }
 424
 425   public void pollJob(AWsJob job) throws Exception
 426   {
 427     ((MsaWSJob) job).result = server.getResult(((MsaWSJob) job).getJobId());
 428   }
 429
 430   public void StartJob(AWsJob job)
 431   {
 432     if (!(job instanceof MsaWSJob))
 433     {
 434       throw new Error(MessageManager.formatMessage("error.implementation_error_msawbjob_called", new String[]{job.getClass().toString()}));
 435     }
 436     MsaWSJob j = (MsaWSJob) job;
 437     if (j.isSubmitted())
 438     {
 439       if (Cache.log.isDebugEnabled())
 440       {
 441         Cache.log.debug("Tried to submit an already submitted job "
 442                 + j.getJobId());
 443       }
 444       return;
 445     }
 446     if (j.seqs.getSeqs() == null)
 447     {
 448       // special case - selection consisted entirely of empty sequences...
 449       j.setSubmitted(true);
 450       j.result = new MsaResult();
 451       j.result.setFinished(true);
 452       j.result.setStatus(MessageManager.getString("label.empty_alignment_job"));
 453       ((MsaResult) j.result).setMsa(null);
 454     }
 455     try
 456     {
 457       vamsas.objects.simple.WsJobId jobsubmit = server.align(j.seqs);
 458
 459       if ((jobsubmit != null) && (jobsubmit.getStatus() == 1))
 460       {
 461         j.setJobId(jobsubmit.getJobId());
 462         j.setSubmitted(true);
 463         j.setSubjobComplete(false);
 464         // System.out.println(WsURL + " Job Id '" + jobId + "'");
 465       }
 466       else
 467       {
 468         if (jobsubmit == null)
 469         {
 470           throw new Exception(MessageManager.formatMessage("exception.web_service_returned_null_try_later", new String[]{WsUrl}));
 471         }
 472
 473         throw new Exception(jobsubmit.getJobId());
 474       }
 475     } catch (Exception e)
 476     {
 477       // TODO: JBPNote catch timeout or other fault types explicitly
 478       // For unexpected errors
 479       System.err
 480               .println(WebServiceName
 481                       + "Client: Failed to submit the sequences for alignment (probably a server side problem)\n"
 482                       + "When contacting Server:" + WsUrl + "\n"
 483                       + e.toString() + "\n");
 484       j.setAllowedServerExceptions(0);
 485       wsInfo.setStatus(WebserviceInfo.STATE_STOPPED_SERVERERROR);
 486       wsInfo.setStatus(j.getJobnum(),
 487               WebserviceInfo.STATE_STOPPED_SERVERERROR);
 488       wsInfo.appendProgressText(
 489               j.getJobnum(),
 490               MessageManager.getString("info.failed_to_submit_sequences_for_alignment"));
 491
 492       // e.printStackTrace(); // TODO: JBPNote DEBUG
 493     }
 494   }
 495
 496   private jalview.datamodel.Sequence[] getVamsasAlignment(
 497           vamsas.objects.simple.Alignment valign)
 498   {
 499     // TODO: refactor to helper class for vamsas.objects.simple objects
 500     vamsas.objects.simple.Sequence[] seqs = valign.getSeqs().getSeqs();
 501     jalview.datamodel.Sequence[] msa = new jalview.datamodel.Sequence[seqs.length];
 502
 503     for (int i = 0, j = seqs.length; i < j; i++)
 504     {
 505       msa[i] = new jalview.datamodel.Sequence(seqs[i].getId(),
 506               seqs[i].getSeq());
 507     }
 508
 509     return msa;
 510   }
 511
 512   public void parseResult()
 513   {
 514     int results = 0; // number of result sets received
 515     JobStateSummary finalState = new JobStateSummary();
 516     try
 517     {
 518       for (int j = 0; j < jobs.length; j++)
 519       {
 520         finalState.updateJobPanelState(wsInfo, OutputHeader, jobs[j]);
 521         if (jobs[j].isSubmitted() && jobs[j].isSubjobComplete()
 522                 && jobs[j].hasResults())
 523         {
 524           results++;
 525           // if (Cache.log.isDebugEnabled())
 526           // {
 527           // System.out.println("Job lob for job "+jobs[j].getJobId()+":"+jobs[j].getJobnum());
 528           // System.out.println(jobs[j].getStatus());
 529           // }
 530
 531           vamsas.objects.simple.Alignment valign = ((MsaResult) ((MsaWSJob) jobs[j]).result)
 532                   .getMsa();
 533           if (valign != null)
 534           {
 535             wsInfo.appendProgressText(jobs[j].getJobnum(),
 536                     MessageManager.getString("info.alignment_object_method_notes"));
 537             String[] lines = valign.getMethod();
 538             for (int line = 0; line < lines.length; line++)
 539             {
 540               wsInfo.appendProgressText(jobs[j].getJobnum(), lines[line]
 541                       + "\n");
 542             }
 543             // JBPNote The returned files from a webservice could be
 544             // hidden behind icons in the monitor window that,
 545             // when clicked, pop up their corresponding data
 546
 547           }
 548         }
 549       }
 550     } catch (Exception ex)
 551     {
 552
 553       Cache.log.error("Unexpected exception when processing results for "
 554               + alTitle, ex);
 555       wsInfo.setStatus(WebserviceInfo.STATE_STOPPED_ERROR);
 556     }
 557     if (results > 0)
 558     {
 559       wsInfo.showResultsNewFrame
 560               .addActionListener(new java.awt.event.ActionListener()
 561               {
 562                 public void actionPerformed(java.awt.event.ActionEvent evt)
 563                 {
 564                   displayResults(true);
 565                 }
 566               });
 567       wsInfo.mergeResults
 568               .addActionListener(new java.awt.event.ActionListener()
 569               {
 570                 public void actionPerformed(java.awt.event.ActionEvent evt)
 571                 {
 572                   displayResults(false);
 573                 }
 574               });
 575       wsInfo.setResultsReady();
 576     }
 577     else
 578     {
 579       wsInfo.setFinishedNoResults();
 580     }
 581   }
 582
 583   void displayResults(boolean newFrame)
 584   {
 585     // view input or result data for each block
 586     Vector alorders = new Vector();
 587     SequenceI[][] results = new SequenceI[jobs.length][];
 588     AlignmentOrder[] orders = new AlignmentOrder[jobs.length];
 589     for (int j = 0; j < jobs.length; j++)
 590     {
 591       if (jobs[j].hasResults())
 592       {
 593         Object[] res = ((MsaWSJob) jobs[j]).getAlignment();
 594         alorders.add(res[1]);
 595         results[j] = (SequenceI[]) res[0];
 596         orders[j] = (AlignmentOrder) res[1];
 597
 598         // SequenceI[] alignment = input.getUpdated
 599       }
 600       else
 601       {
 602         results[j] = null;
 603       }
 604     }
 605     Object[] newview = input.getUpdatedView(results, orders, getGapChar());
 606     // trash references to original result data
 607     for (int j = 0; j < jobs.length; j++)
 608     {
 609       results[j] = null;
 610       orders[j] = null;
 611     }
 612     SequenceI[] alignment = (SequenceI[]) newview[0];
 613     ColumnSelection columnselection = (ColumnSelection) newview[1];
 614     Alignment al = new Alignment(alignment);
 615     // TODO: add 'provenance' property to alignment from the method notes
 616     // accompanying each subjob
 617     if (dataset != null)
 618     {
 619       al.setDataset(dataset);
 620     }
 621
 622     propagateDatasetMappings(al);
 623     // JBNote- TODO: warn user if a block is input rather than aligned data ?
 624
 625     if (newFrame)
 626     {
 627       AlignFrame af = new AlignFrame(al, columnselection,
 628               AlignFrame.DEFAULT_WIDTH, AlignFrame.DEFAULT_HEIGHT);
 629
 630       // initialise with same renderer settings as in parent alignframe.
 631       af.getFeatureRenderer().transferSettings(this.featureSettings);
 632       // update orders
 633       if (alorders.size() > 0)
 634       {
 635         if (alorders.size() == 1)
 636         {
 637           af.addSortByOrderMenuItem(WebServiceName + " Ordering",
 638                   (AlignmentOrder) alorders.get(0));
 639         }
 640         else
 641         {
 642           // construct a non-redundant ordering set
 643           Vector names = new Vector();
 644           for (int i = 0, l = alorders.size(); i < l; i++)
 645           {
 646             String orderName = new String(" Region " + i);
 647             int j = i + 1;
 648
 649             while (j < l)
 650             {
 651               if (((AlignmentOrder) alorders.get(i))
 652                       .equals(((AlignmentOrder) alorders.get(j))))
 653               {
 654                 alorders.remove(j);
 655                 l--;
 656                 orderName += "," + j;
 657               }
 658               else
 659               {
 660                 j++;
 661               }
 662             }
 663
 664             if (i == 0 && j == 1)
 665             {
 666               names.add(new String(""));
 667             }
 668             else
 669             {
 670               names.add(orderName);
 671             }
 672           }
 673           for (int i = 0, l = alorders.size(); i < l; i++)
 674           {
 675             af.addSortByOrderMenuItem(
 676                     WebServiceName + ((String) names.get(i)) + " Ordering",
 677                     (AlignmentOrder) alorders.get(i));
 678           }
 679         }
 680       }
 681
 682       Desktop.addInternalFrame(af, alTitle, AlignFrame.DEFAULT_WIDTH,
 683               AlignFrame.DEFAULT_HEIGHT);
 684
 685     }
 686     else
 687     {
 688       System.out.println("MERGE WITH OLD FRAME");
 689       // TODO: modify alignment in original frame, replacing old for new
 690       // alignment using the commands.EditCommand model to ensure the update can
 691       // be undone
 692     }
 693   }
 694
 695   public boolean canMergeResults()
 696   {
 697     return false;
 698   }
 699 }