src/jalview/ws/jws1/MsaWSThread.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer (Version 2.6)
   3  * Copyright (C) 2010 J Procter, AM Waterhouse, G Barton, M Clamp, S Searle
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version.
  10  *
  11  * Jalview is distributed in the hope that it will be useful, but
  12  * WITHOUT ANY WARRANTY; without even the implied warranty
  13  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  14  * PURPOSE.  See the GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  17  */
  18 package jalview.ws.jws1;
  19
  20 import java.util.*;
  21
  22 import jalview.analysis.*;
  23 import jalview.bin.*;
  24 import jalview.datamodel.*;
  25 import jalview.gui.*;
  26 import jalview.ws.AWsJob;
  27 import jalview.ws.JobStateSummary;
  28 import jalview.ws.WSClientI;
  29 import vamsas.objects.simple.MsaResult;
  30
  31 /**
  32  * <p>
  33  * Title:
  34  * </p>
  35  *
  36  * <p>
  37  * Description:
  38  * </p>
  39  *
  40  * <p>
  41  * Copyright: Copyright (c) 2004
  42  * </p>
  43  *
  44  * <p>
  45  * Company: Dundee University
  46  * </p>
  47  *
  48  * @author not attributable
  49  * @version 1.0
  50  */
  51 class MsaWSThread extends JWS1Thread implements WSClientI
  52 {
  53   boolean submitGaps = false; // pass sequences including gaps to alignment
  54
  55   // service
  56
  57   boolean preserveOrder = true; // and always store and recover sequence
  58
  59   // order
  60
  61   class MsaWSJob extends WSJob
  62   {
  63     // hold special input for this
  64     vamsas.objects.simple.SequenceSet seqs = new vamsas.objects.simple.SequenceSet();
  65
  66     /**
  67      * MsaWSJob
  68      *
  69      * @param jobNum
  70      *          int
  71      * @param jobId
  72      *          String
  73      */
  74     public MsaWSJob(int jobNum, SequenceI[] inSeqs)
  75     {
  76       this.jobnum = jobNum;
  77       if (!prepareInput(inSeqs, 2))
  78       {
  79         submitted = true;
  80         subjobComplete = true;
  81         result = new MsaResult();
  82         result.setFinished(true);
  83         result.setStatus("Job never ran - input returned to user.");
  84       }
  85
  86     }
  87
  88     Hashtable SeqNames = new Hashtable();
  89
  90     Vector emptySeqs = new Vector();
  91
  92     /**
  93      * prepare input sequences for MsaWS service
  94      *
  95      * @param seqs
  96      *          jalview sequences to be prepared
  97      * @param minlen
  98      *          minimum number of residues required for this MsaWS service
  99      * @return true if seqs contains sequences to be submitted to service.
 100      */
 101     private boolean prepareInput(SequenceI[] seqs, int minlen)
 102     {
 103       int nseqs = 0;
 104       if (minlen < 0)
 105       {
 106         throw new Error(
 107                 "Implementation error: minlen must be zero or more.");
 108       }
 109       for (int i = 0; i < seqs.length; i++)
 110       {
 111         if (seqs[i].getEnd() - seqs[i].getStart() > minlen - 1)
 112         {
 113           nseqs++;
 114         }
 115       }
 116       boolean valid = nseqs > 1; // need at least two seqs
 117       vamsas.objects.simple.Sequence[] seqarray = (valid) ? new vamsas.objects.simple.Sequence[nseqs]
 118               : null;
 119       for (int i = 0, n = 0; i < seqs.length; i++)
 120       {
 121
 122         String newname = jalview.analysis.SeqsetUtils.unique_name(i); // same
 123         // for
 124         // any
 125         // subjob
 126         SeqNames.put(newname,
 127                 jalview.analysis.SeqsetUtils.SeqCharacterHash(seqs[i]));
 128         if (valid && seqs[i].getEnd() - seqs[i].getStart() > minlen - 1)
 129         {
 130           seqarray[n] = new vamsas.objects.simple.Sequence();
 131           seqarray[n].setId(newname);
 132           seqarray[n++].setSeq((submitGaps) ? seqs[i].getSequenceAsString()
 133                   : AlignSeq.extractGaps(jalview.util.Comparison.GapChars,
 134                           seqs[i].getSequenceAsString()));
 135         }
 136         else
 137         {
 138           String empty = null;
 139           if (seqs[i].getEnd() >= seqs[i].getStart())
 140           {
 141             empty = (submitGaps) ? seqs[i].getSequenceAsString() : AlignSeq
 142                     .extractGaps(jalview.util.Comparison.GapChars,
 143                             seqs[i].getSequenceAsString());
 144           }
 145           emptySeqs.add(new String[]
 146           { newname, empty });
 147         }
 148       }
 149       this.seqs = new vamsas.objects.simple.SequenceSet();
 150       this.seqs.setSeqs(seqarray);
 151       return valid;
 152     }
 153
 154     /**
 155      *
 156      * @return true if getAlignment will return a valid alignment result.
 157      */
 158     public boolean hasResults()
 159     {
 160       if (subjobComplete && result != null && result.isFinished()
 161               && ((MsaResult) result).getMsa() != null
 162               && ((MsaResult) result).getMsa().getSeqs() != null)
 163       {
 164         return true;
 165       }
 166       return false;
 167     }
 168
 169     public Object[] getAlignment()
 170     {
 171
 172       if (result != null && result.isFinished())
 173       {
 174         SequenceI[] alseqs = null;
 175         char alseq_gapchar = '-';
 176         int alseq_l = 0;
 177         if (((MsaResult) result).getMsa() != null)
 178         {
 179           alseqs = getVamsasAlignment(((MsaResult) result).getMsa());
 180           alseq_gapchar = ((MsaResult) result).getMsa().getGapchar()
 181                   .charAt(0);
 182           alseq_l = alseqs.length;
 183         }
 184         if (emptySeqs.size() > 0)
 185         {
 186           SequenceI[] t_alseqs = new SequenceI[alseq_l + emptySeqs.size()];
 187           // get width
 188           int i, w = 0;
 189           if (alseq_l > 0)
 190           {
 191             for (i = 0, w = alseqs[0].getLength(); i < alseq_l; i++)
 192             {
 193               if (w < alseqs[i].getLength())
 194               {
 195                 w = alseqs[i].getLength();
 196               }
 197               t_alseqs[i] = alseqs[i];
 198               alseqs[i] = null;
 199             }
 200           }
 201           // check that aligned width is at least as wide as emptySeqs width.
 202           int ow = w, nw = w;
 203           for (i = 0, w = emptySeqs.size(); i < w; i++)
 204           {
 205             String[] es = (String[]) emptySeqs.get(i);
 206             if (es != null && es[1] != null)
 207             {
 208               int sw = es[1].length();
 209               if (nw < sw)
 210               {
 211                 nw = sw;
 212               }
 213             }
 214           }
 215           // make a gapped string.
 216           StringBuffer insbuff = new StringBuffer(w);
 217           for (i = 0; i < nw; i++)
 218           {
 219             insbuff.append(alseq_gapchar);
 220           }
 221           if (ow < nw)
 222           {
 223             for (i = 0; i < alseq_l; i++)
 224             {
 225               int sw = t_alseqs[i].getLength();
 226               if (nw > sw)
 227               {
 228                 // pad at end
 229                 alseqs[i].setSequence(t_alseqs[i].getSequenceAsString()
 230                         + insbuff.substring(0, sw - nw));
 231               }
 232             }
 233           }
 234           for (i = 0, w = emptySeqs.size(); i < w; i++)
 235           {
 236             String[] es = (String[]) emptySeqs.get(i);
 237             if (es[1] == null)
 238             {
 239               t_alseqs[i + alseq_l] = new jalview.datamodel.Sequence(es[0],
 240                       insbuff.toString(), 1, 0);
 241             }
 242             else
 243             {
 244               if (es[1].length() < nw)
 245               {
 246                 t_alseqs[i + alseq_l] = new jalview.datamodel.Sequence(
 247                         es[0],
 248                         es[1] + insbuff.substring(0, nw - es[1].length()),
 249                         1, 1 + es[1].length());
 250               }
 251               else
 252               {
 253                 t_alseqs[i + alseq_l] = new jalview.datamodel.Sequence(
 254                         es[0], es[1]);
 255               }
 256             }
 257           }
 258           alseqs = t_alseqs;
 259         }
 260         AlignmentOrder msaorder = new AlignmentOrder(alseqs);
 261         // always recover the order - makes parseResult()'s life easier.
 262         jalview.analysis.AlignmentSorter.recoverOrder(alseqs);
 263         // account for any missing sequences
 264         jalview.analysis.SeqsetUtils.deuniquify(SeqNames, alseqs);
 265         return new Object[]
 266         { alseqs, msaorder };
 267       }
 268       return null;
 269     }
 270
 271     /**
 272      * mark subjob as cancelled and set result object appropriatly
 273      */
 274     void cancel()
 275     {
 276       cancelled = true;
 277       subjobComplete = true;
 278       result = null;
 279     }
 280
 281     /**
 282      *
 283      * @return boolean true if job can be submitted.
 284      */
 285     public boolean hasValidInput()
 286     {
 287       if (seqs.getSeqs() != null)
 288       {
 289         return true;
 290       }
 291       return false;
 292     }
 293   }
 294
 295   String alTitle; // name which will be used to form new alignment window.
 296
 297   Alignment dataset; // dataset to which the new alignment will be
 298
 299   // associated.
 300
 301   ext.vamsas.MuscleWS server = null;
 302
 303   /**
 304    * set basic options for this (group) of Msa jobs
 305    *
 306    * @param subgaps
 307    *          boolean
 308    * @param presorder
 309    *          boolean
 310    */
 311   MsaWSThread(ext.vamsas.MuscleWS server, String wsUrl,
 312           WebserviceInfo wsinfo, jalview.gui.AlignFrame alFrame,
 313           AlignmentView alview, String wsname, boolean subgaps,
 314           boolean presorder)
 315   {
 316     super(alFrame, wsinfo, alview, wsname, wsUrl);
 317     this.server = server;
 318     this.submitGaps = subgaps;
 319     this.preserveOrder = presorder;
 320   }
 321
 322   /**
 323    * create one or more Msa jobs to align visible seuqences in _msa
 324    *
 325    * @param title
 326    *          String
 327    * @param _msa
 328    *          AlignmentView
 329    * @param subgaps
 330    *          boolean
 331    * @param presorder
 332    *          boolean
 333    * @param seqset
 334    *          Alignment
 335    */
 336   MsaWSThread(ext.vamsas.MuscleWS server, String wsUrl,
 337           WebserviceInfo wsinfo, jalview.gui.AlignFrame alFrame,
 338           String wsname, String title, AlignmentView _msa, boolean subgaps,
 339           boolean presorder, Alignment seqset)
 340   {
 341     this(server, wsUrl, wsinfo, alFrame, _msa, wsname, subgaps, presorder);
 342     OutputHeader = wsInfo.getProgressText();
 343     alTitle = title;
 344     dataset = seqset;
 345
 346     SequenceI[][] conmsa = _msa.getVisibleContigs('-');
 347     if (conmsa != null)
 348     {
 349       int njobs = conmsa.length;
 350       jobs = new MsaWSJob[njobs];
 351       for (int j = 0; j < njobs; j++)
 352       {
 353         if (j != 0)
 354         {
 355           jobs[j] = new MsaWSJob(wsinfo.addJobPane(), conmsa[j]);
 356         }
 357         else
 358         {
 359           jobs[j] = new MsaWSJob(0, conmsa[j]);
 360         }
 361         if (njobs > 0)
 362         {
 363           wsinfo.setProgressName("region " + jobs[j].getJobnum(),
 364                   jobs[j].getJobnum());
 365         }
 366         wsinfo.setProgressText(jobs[j].getJobnum(), OutputHeader);
 367       }
 368     }
 369   }
 370
 371   public boolean isCancellable()
 372   {
 373     return true;
 374   }
 375
 376   public void cancelJob()
 377   {
 378     if (!jobComplete && jobs != null)
 379     {
 380       boolean cancelled = true;
 381       for (int job = 0; job < jobs.length; job++)
 382       {
 383         if (jobs[job].isSubmitted() && !jobs[job].isSubjobComplete())
 384         {
 385           String cancelledMessage = "";
 386           try
 387           {
 388             vamsas.objects.simple.WsJobId cancelledJob = server
 389                     .cancel(jobs[job].getJobId());
 390             if (cancelledJob.getStatus() == 2)
 391             {
 392               // CANCELLED_JOB
 393               cancelledMessage = "Job cancelled.";
 394               ((MsaWSJob) jobs[job]).cancel();
 395               wsInfo.setStatus(jobs[job].getJobnum(),
 396                       WebserviceInfo.STATE_CANCELLED_OK);
 397             }
 398             else if (cancelledJob.getStatus() == 3)
 399             {
 400               // VALID UNSTOPPABLE JOB
 401               cancelledMessage += "Server cannot cancel this job. just close the window.\n";
 402               cancelled = false;
 403               // wsInfo.setStatus(jobs[job].jobnum,
 404               // WebserviceInfo.STATE_RUNNING);
 405             }
 406
 407             if (cancelledJob.getJobId() != null)
 408             {
 409               cancelledMessage += ("[" + cancelledJob.getJobId() + "]");
 410             }
 411
 412             cancelledMessage += "\n";
 413           } catch (Exception exc)
 414           {
 415             cancelledMessage += ("\nProblems cancelling the job : Exception received...\n"
 416                     + exc + "\n");
 417             Cache.log.warn(
 418                     "Exception whilst cancelling " + jobs[job].getJobId(),
 419                     exc);
 420           }
 421           wsInfo.setProgressText(jobs[job].getJobnum(), OutputHeader
 422                   + cancelledMessage + "\n");
 423         }
 424       }
 425       if (cancelled)
 426       {
 427         wsInfo.setStatus(WebserviceInfo.STATE_CANCELLED_OK);
 428         jobComplete = true;
 429       }
 430       this.interrupt(); // kick thread to update job states.
 431     }
 432     else
 433     {
 434       if (!jobComplete)
 435       {
 436         wsInfo.setProgressText(OutputHeader
 437                 + "Server cannot cancel this job because it has not been submitted properly. just close the window.\n");
 438       }
 439     }
 440   }
 441
 442   public void pollJob(AWsJob job) throws Exception
 443   {
 444     ((MsaWSJob) job).result = server.getResult(((MsaWSJob) job).getJobId());
 445   }
 446
 447   public void StartJob(AWsJob job)
 448   {
 449     if (!(job instanceof MsaWSJob))
 450     {
 451       throw new Error("StartJob(MsaWSJob) called on a WSJobInstance "
 452               + job.getClass());
 453     }
 454     MsaWSJob j = (MsaWSJob) job;
 455     if (j.isSubmitted())
 456     {
 457       if (Cache.log.isDebugEnabled())
 458       {
 459         Cache.log.debug("Tried to submit an already submitted job "
 460                 + j.getJobId());
 461       }
 462       return;
 463     }
 464     if (j.seqs.getSeqs() == null)
 465     {
 466       // special case - selection consisted entirely of empty sequences...
 467       j.setSubmitted(true);
 468       j.result = new MsaResult();
 469       j.result.setFinished(true);
 470       j.result.setStatus("Empty Alignment Job");
 471       ((MsaResult) j.result).setMsa(null);
 472     }
 473     try
 474     {
 475       vamsas.objects.simple.WsJobId jobsubmit = server.align(j.seqs);
 476
 477       if ((jobsubmit != null) && (jobsubmit.getStatus() == 1))
 478       {
 479         j.setJobId(jobsubmit.getJobId());
 480         j.setSubmitted(true);
 481         j.setSubjobComplete(false);
 482         // System.out.println(WsURL + " Job Id '" + jobId + "'");
 483       }
 484       else
 485       {
 486         if (jobsubmit == null)
 487         {
 488           throw new Exception(
 489                   "Server at "
 490                           + WsUrl
 491                           + " returned null object, it probably cannot be contacted. Try again later ?");
 492         }
 493
 494         throw new Exception(jobsubmit.getJobId());
 495       }
 496     } catch (Exception e)
 497     {
 498       // TODO: JBPNote catch timeout or other fault types explicitly
 499       // For unexpected errors
 500       System.err
 501               .println(WebServiceName
 502                       + "Client: Failed to submit the sequences for alignment (probably a server side problem)\n"
 503                       + "When contacting Server:" + WsUrl + "\n"
 504                       + e.toString() + "\n");
 505       j.setAllowedServerExceptions(0);
 506       wsInfo.setStatus(WebserviceInfo.STATE_STOPPED_SERVERERROR);
 507       wsInfo.setStatus(j.getJobnum(),
 508               WebserviceInfo.STATE_STOPPED_SERVERERROR);
 509       wsInfo.appendProgressText(
 510               j.getJobnum(),
 511               "Failed to submit sequences for alignment.\n"
 512                       + "It is most likely that there is a problem with the server.\n"
 513                       + "Just close the window\n");
 514
 515       // e.printStackTrace(); // TODO: JBPNote DEBUG
 516     }
 517   }
 518
 519   private jalview.datamodel.Sequence[] getVamsasAlignment(
 520           vamsas.objects.simple.Alignment valign)
 521   {
 522     // TODO: refactor to helper class for vamsas.objects.simple objects
 523     vamsas.objects.simple.Sequence[] seqs = valign.getSeqs().getSeqs();
 524     jalview.datamodel.Sequence[] msa = new jalview.datamodel.Sequence[seqs.length];
 525
 526     for (int i = 0, j = seqs.length; i < j; i++)
 527     {
 528       msa[i] = new jalview.datamodel.Sequence(seqs[i].getId(),
 529               seqs[i].getSeq());
 530     }
 531
 532     return msa;
 533   }
 534
 535   public void parseResult()
 536   {
 537     int results = 0; // number of result sets received
 538     JobStateSummary finalState = new JobStateSummary();
 539     try
 540     {
 541       for (int j = 0; j < jobs.length; j++)
 542       {
 543         finalState.updateJobPanelState(wsInfo, OutputHeader, jobs[j]);
 544         if (jobs[j].isSubmitted() && jobs[j].isSubjobComplete()
 545                 && jobs[j].hasResults())
 546         {
 547           results++;
 548           // if (Cache.log.isDebugEnabled())
 549           // {
 550           // System.out.println("Job lob for job "+jobs[j].getJobId()+":"+jobs[j].getJobnum());
 551           // System.out.println(jobs[j].getStatus());
 552           // }
 553
 554           vamsas.objects.simple.Alignment valign = ((MsaResult) ((MsaWSJob) jobs[j]).result)
 555                   .getMsa();
 556           if (valign != null)
 557           {
 558             wsInfo.appendProgressText(jobs[j].getJobnum(),
 559                     "\nAlignment Object Method Notes\n");
 560             String[] lines = valign.getMethod();
 561             for (int line = 0; line < lines.length; line++)
 562             {
 563               wsInfo.appendProgressText(jobs[j].getJobnum(), lines[line]
 564                       + "\n");
 565             }
 566             // JBPNote The returned files from a webservice could be
 567             // hidden behind icons in the monitor window that,
 568             // when clicked, pop up their corresponding data
 569
 570           }
 571         }
 572       }
 573     } catch (Exception ex)
 574     {
 575
 576       Cache.log.error("Unexpected exception when processing results for "
 577               + alTitle, ex);
 578       wsInfo.setStatus(WebserviceInfo.STATE_STOPPED_ERROR);
 579     }
 580     if (results > 0)
 581     {
 582       wsInfo.showResultsNewFrame
 583               .addActionListener(new java.awt.event.ActionListener()
 584               {
 585                 public void actionPerformed(java.awt.event.ActionEvent evt)
 586                 {
 587                   displayResults(true);
 588                 }
 589               });
 590       wsInfo.mergeResults
 591               .addActionListener(new java.awt.event.ActionListener()
 592               {
 593                 public void actionPerformed(java.awt.event.ActionEvent evt)
 594                 {
 595                   displayResults(false);
 596                 }
 597               });
 598       wsInfo.setResultsReady();
 599     }
 600     else
 601     {
 602       wsInfo.setFinishedNoResults();
 603     }
 604   }
 605
 606   void displayResults(boolean newFrame)
 607   {
 608     // view input or result data for each block
 609     Vector alorders = new Vector();
 610     SequenceI[][] results = new SequenceI[jobs.length][];
 611     AlignmentOrder[] orders = new AlignmentOrder[jobs.length];
 612     for (int j = 0; j < jobs.length; j++)
 613     {
 614       if (jobs[j].hasResults())
 615       {
 616         Object[] res = ((MsaWSJob) jobs[j]).getAlignment();
 617         alorders.add(res[1]);
 618         results[j] = (SequenceI[]) res[0];
 619         orders[j] = (AlignmentOrder) res[1];
 620
 621         // SequenceI[] alignment = input.getUpdated
 622       }
 623       else
 624       {
 625         results[j] = null;
 626       }
 627     }
 628     Object[] newview = input.getUpdatedView(results, orders, getGapChar());
 629     // trash references to original result data
 630     for (int j = 0; j < jobs.length; j++)
 631     {
 632       results[j] = null;
 633       orders[j] = null;
 634     }
 635     SequenceI[] alignment = (SequenceI[]) newview[0];
 636     ColumnSelection columnselection = (ColumnSelection) newview[1];
 637     Alignment al = new Alignment(alignment);
 638     // TODO: add 'provenance' property to alignment from the method notes
 639     // accompanying each subjob
 640     if (dataset != null)
 641     {
 642       al.setDataset(dataset);
 643     }
 644
 645     propagateDatasetMappings(al);
 646     // JBNote- TODO: warn user if a block is input rather than aligned data ?
 647
 648     if (newFrame)
 649     {
 650       AlignFrame af = new AlignFrame(al, columnselection,
 651               AlignFrame.DEFAULT_WIDTH, AlignFrame.DEFAULT_HEIGHT);
 652
 653       // initialise with same renderer settings as in parent alignframe.
 654       af.getFeatureRenderer().transferSettings(this.featureSettings);
 655       // update orders
 656       if (alorders.size() > 0)
 657       {
 658         if (alorders.size() == 1)
 659         {
 660           af.addSortByOrderMenuItem(WebServiceName + " Ordering",
 661                   (AlignmentOrder) alorders.get(0));
 662         }
 663         else
 664         {
 665           // construct a non-redundant ordering set
 666           Vector names = new Vector();
 667           for (int i = 0, l = alorders.size(); i < l; i++)
 668           {
 669             String orderName = new String(" Region " + i);
 670             int j = i + 1;
 671
 672             while (j < l)
 673             {
 674               if (((AlignmentOrder) alorders.get(i))
 675                       .equals(((AlignmentOrder) alorders.get(j))))
 676               {
 677                 alorders.remove(j);
 678                 l--;
 679                 orderName += "," + j;
 680               }
 681               else
 682               {
 683                 j++;
 684               }
 685             }
 686
 687             if (i == 0 && j == 1)
 688             {
 689               names.add(new String(""));
 690             }
 691             else
 692             {
 693               names.add(orderName);
 694             }
 695           }
 696           for (int i = 0, l = alorders.size(); i < l; i++)
 697           {
 698             af.addSortByOrderMenuItem(
 699                     WebServiceName + ((String) names.get(i)) + " Ordering",
 700                     (AlignmentOrder) alorders.get(i));
 701           }
 702         }
 703       }
 704
 705       Desktop.addInternalFrame(af, alTitle, AlignFrame.DEFAULT_WIDTH,
 706               AlignFrame.DEFAULT_HEIGHT);
 707
 708     }
 709     else
 710     {
 711       System.out.println("MERGE WITH OLD FRAME");
 712       // TODO: modify alignment in original frame, replacing old for new
 713       // alignment using the commands.EditCommand model to ensure the update can
 714       // be undone
 715     }
 716   }
 717
 718   public boolean canMergeResults()
 719   {
 720     return false;
 721   }
 722 }