JPredThread.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer (Version 2.8.0b1)
   3  * Copyright (C) 2014 The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version.
  10  *
  11  * Jalview is distributed in the hope that it will be useful, but
  12  * WITHOUT ANY WARRANTY; without even the implied warranty
  13  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  14  * PURPOSE.  See the GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  17  * The Jalview Authors are detailed in the 'AUTHORS' file.
  18  */
  19 package jalview.ws.jws1;
  20
  21 import java.util.*;
  22
  23 import jalview.analysis.*;
  24 import jalview.bin.*;
  25 import jalview.datamodel.*;
  26 import jalview.gui.*;
  27 import jalview.io.*;
  28 import jalview.util.*;
  29 import jalview.ws.AWsJob;
  30 import jalview.ws.JobStateSummary;
  31 import jalview.ws.WSClientI;
  32 import vamsas.objects.simple.JpredResult;
  33
  34 class JPredThread extends JWS1Thread implements WSClientI
  35 {
  36   // TODO: put mapping between JPredJob input and input data here -
  37   // JNetAnnotation adding is done after result parsing.
  38   class JPredJob extends WSJob
  39   {
  40     // TODO: make JPredJob deal only with what was sent to and received from a
  41     // JNet service
  42     int[] predMap = null; // mapping from sequence(i) to the original
  43
  44     // sequence(predMap[i]) being predicted on
  45
  46     vamsas.objects.simple.Sequence sequence;
  47
  48     vamsas.objects.simple.Msfalignment msa;
  49
  50     java.util.Hashtable SequenceInfo = null;
  51
  52     int msaIndex = 0; // the position of the original sequence in the array of
  53
  54     // Sequences in the input object that this job holds a
  55     // prediction for
  56
  57     /**
  58      *
  59      * @return true if getResultSet will return a valid alignment and prediction
  60      *         result.
  61      */
  62     public boolean hasResults()
  63     {
  64       if (subjobComplete && result != null && result.isFinished()
  65               && ((JpredResult) result).getPredfile() != null
  66               && ((JpredResult) result).getAligfile() != null)
  67       {
  68         return true;
  69       }
  70       return false;
  71     }
  72
  73     public boolean hasValidInput()
  74     {
  75       if (sequence != null)
  76       {
  77         return true;
  78       }
  79       return false;
  80     }
  81
  82     /**
  83      *
  84      * @return null or Object[] { annotated alignment for this prediction,
  85      *         ColumnSelection for this prediction} or null if no results
  86      *         available.
  87      * @throws Exception
  88      */
  89     public Object[] getResultSet() throws Exception
  90     {
  91       if (result == null || !result.isFinished())
  92       {
  93         return null;
  94       }
  95       Alignment al = null;
  96       ColumnSelection alcsel = null;
  97       int FirstSeq = -1; // the position of the query sequence in Alignment al
  98
  99       JpredResult result = (JpredResult) this.result;
 100
 101       jalview.bin.Cache.log.debug("Parsing output from JNet job.");
 102       // JPredFile prediction = new JPredFile("C:/JalviewX/files/jpred.txt",
 103       // "File");
 104       jalview.io.JPredFile prediction = new jalview.io.JPredFile(
 105               result.getPredfile(), "Paste");
 106       SequenceI[] preds = prediction.getSeqsAsArray();
 107       jalview.bin.Cache.log.debug("Got prediction profile.");
 108
 109       if ((this.msa != null) && (result.getAligfile() != null))
 110       {
 111         jalview.bin.Cache.log.debug("Getting associated alignment.");
 112         // we ignore the returned alignment if we only predicted on a single
 113         // sequence
 114         String format = new jalview.io.IdentifyFile().Identify(
 115                 result.getAligfile(), "Paste");
 116
 117         if (jalview.io.FormatAdapter.isValidFormat(format))
 118         {
 119           SequenceI sqs[];
 120           if (predMap != null)
 121           {
 122             Object[] alandcolsel = input
 123                     .getAlignmentAndColumnSelection(getGapChar());
 124             sqs = (SequenceI[]) alandcolsel[0];
 125             al = new Alignment(sqs);
 126             alcsel = (ColumnSelection) alandcolsel[1];
 127           }
 128           else
 129           {
 130             al = new FormatAdapter().readFile(result.getAligfile(),
 131                     "Paste", format);
 132             sqs = new SequenceI[al.getHeight()];
 133
 134             for (int i = 0, j = al.getHeight(); i < j; i++)
 135             {
 136               sqs[i] = al.getSequenceAt(i);
 137             }
 138             if (!jalview.analysis.SeqsetUtils.deuniquify(
 139                     (Hashtable) SequenceInfo, sqs))
 140             {
 141               throw (new Exception(
 142                       "Couldn't recover sequence properties for alignment."));
 143             }
 144           }
 145           FirstSeq = 0;
 146           al.setDataset(null);
 147
 148           jalview.io.JnetAnnotationMaker.add_annotation(prediction, al,
 149                   FirstSeq, false, predMap);
 150
 151         }
 152         else
 153         {
 154           throw (new Exception("Unknown format " + format
 155                   + " for file : \n" + result.getAligfile()));
 156         }
 157       }
 158       else
 159       {
 160         al = new Alignment(preds);
 161         FirstSeq = prediction.getQuerySeqPosition();
 162         if (predMap != null)
 163         {
 164           char gc = getGapChar();
 165           SequenceI[] sqs = (SequenceI[]) ((java.lang.Object[]) input
 166                   .getAlignmentAndColumnSelection(gc))[0];
 167           if (this.msaIndex >= sqs.length)
 168           {
 169             throw new Error(
 170                     "Implementation Error! Invalid msaIndex for JPredJob on parent MSA input object!");
 171           }
 172
 173           // ///
 174           // Uses RemoveGapsCommand
 175           // ///
 176           new jalview.commands.RemoveGapsCommand("Remove Gaps",
 177                   new SequenceI[]
 178                   { sqs[msaIndex] }, currentView);
 179
 180           SequenceI profileseq = al.getSequenceAt(FirstSeq);
 181           profileseq.setSequence(sqs[msaIndex].getSequenceAsString());
 182         }
 183
 184         if (!jalview.analysis.SeqsetUtils.SeqCharacterUnhash(
 185                 al.getSequenceAt(FirstSeq), SequenceInfo))
 186         {
 187           throw (new Exception(
 188                   "Couldn't recover sequence properties for JNet Query sequence!"));
 189         }
 190         else
 191         {
 192           al.setDataset(null);
 193           jalview.io.JnetAnnotationMaker.add_annotation(prediction, al,
 194                   FirstSeq, true, predMap);
 195           SequenceI profileseq = al.getSequenceAt(0); // this includes any gaps.
 196           alignToProfileSeq(al, profileseq);
 197           if (predMap != null)
 198           {
 199             // Adjust input view for gaps
 200             // propagate insertions into profile
 201             alcsel = ColumnSelection.propagateInsertions(profileseq, al,
 202                     input);
 203           }
 204         }
 205       }
 206       return new Object[]
 207       { al, alcsel }; // , FirstSeq, noMsa};
 208     }
 209
 210     /**
 211      * Given an alignment where all other sequences except profileseq are
 212      * aligned to the ungapped profileseq, insert gaps in the other sequences to
 213      * realign them with the residues in profileseq
 214      *
 215      * @param al
 216      * @param profileseq
 217      */
 218     private void alignToProfileSeq(Alignment al, SequenceI profileseq)
 219     {
 220       char gc = al.getGapCharacter();
 221       int[] gapMap = profileseq.gapMap();
 222       // insert gaps into profile
 223       for (int lp = 0, r = 0; r < gapMap.length; r++)
 224       {
 225         if (gapMap[r] - lp > 1)
 226         {
 227           StringBuffer sb = new StringBuffer();
 228           for (int s = 0, ns = gapMap[r] - lp; s < ns; s++)
 229           {
 230             sb.append(gc);
 231           }
 232           for (int s = 1, ns = al.getHeight(); s < ns; s++)
 233           {
 234             String sq = al.getSequenceAt(s).getSequenceAsString();
 235             int diff = gapMap[r] - sq.length();
 236             if (diff > 0)
 237             {
 238               // pad gaps
 239               sq = sq + sb;
 240               while ((diff = gapMap[r] - sq.length()) > 0)
 241               {
 242                 sq = sq
 243                         + ((diff >= sb.length()) ? sb.toString() : sb
 244                                 .substring(0, diff));
 245               }
 246               al.getSequenceAt(s).setSequence(sq);
 247             }
 248             else
 249             {
 250               al.getSequenceAt(s).setSequence(
 251                       sq.substring(0, gapMap[r]) + sb.toString()
 252                               + sq.substring(gapMap[r]));
 253             }
 254           }
 255         }
 256         lp = gapMap[r];
 257       }
 258     }
 259
 260     public JPredJob(Hashtable SequenceInfo, SequenceI seq, int[] delMap)
 261     {
 262       super();
 263       this.predMap = delMap;
 264       String sq = AlignSeq.extractGaps(Comparison.GapChars,
 265               seq.getSequenceAsString());
 266       if (sq.length() >= 20)
 267       {
 268         this.SequenceInfo = SequenceInfo;
 269         sequence = new vamsas.objects.simple.Sequence();
 270         sequence.setId(seq.getName());
 271         sequence.setSeq(sq);
 272       }
 273       else
 274       {
 275         errorMessage = "Sequence is too short to predict with JPred - need at least 20 amino acids.";
 276       }
 277     }
 278
 279     public JPredJob(Hashtable SequenceInfo, SequenceI[] msf, int[] delMap)
 280     {
 281       this(SequenceInfo, msf[0], delMap);
 282       if (sequence != null)
 283       {
 284         if (msf.length > 1)
 285         {
 286           msa = new vamsas.objects.simple.Msfalignment();
 287           jalview.io.PileUpfile pileup = new jalview.io.PileUpfile();
 288           msa.setMsf(pileup.print(msf));
 289         }
 290       }
 291     }
 292
 293     String errorMessage = "";
 294
 295     public String getValidationMessages()
 296     {
 297       return errorMessage + "\n";
 298     }
 299   }
 300
 301   ext.vamsas.Jpred server;
 302
 303   String altitle = "";
 304
 305   JPredThread(WebserviceInfo wsinfo, String altitle,
 306           ext.vamsas.Jpred server, String wsurl, AlignmentView alview,
 307           AlignFrame alframe)
 308   {
 309     super(alframe, wsinfo, alview, wsurl);
 310     this.altitle = altitle;
 311     this.server = server;
 312   }
 313
 314   JPredThread(WebserviceInfo wsinfo, String altitle,
 315           ext.vamsas.Jpred server, String wsurl, Hashtable SequenceInfo,
 316           SequenceI seq, int[] delMap, AlignmentView alview,
 317           AlignFrame alframe)
 318   {
 319     this(wsinfo, altitle, server, wsurl, alview, alframe);
 320     JPredJob job = new JPredJob(SequenceInfo, seq, delMap);
 321     if (job.hasValidInput())
 322     {
 323       OutputHeader = wsInfo.getProgressText();
 324       jobs = new WSJob[]
 325       { job };
 326       job.setJobnum(0);
 327     }
 328     else
 329     {
 330       wsInfo.appendProgressText(job.getValidationMessages());
 331     }
 332   }
 333
 334   JPredThread(WebserviceInfo wsinfo, String altitle,
 335           ext.vamsas.Jpred server, Hashtable SequenceInfo, SequenceI[] msf,
 336           int[] delMap, AlignmentView alview, AlignFrame alframe,
 337           String wsurl)
 338   {
 339     this(wsinfo, altitle, server, wsurl, alview, alframe);
 340     JPredJob job = new JPredJob(SequenceInfo, msf, delMap);
 341     if (job.hasValidInput())
 342     {
 343       jobs = new WSJob[]
 344       { job };
 345       OutputHeader = wsInfo.getProgressText();
 346       job.setJobnum(0);
 347     }
 348     else
 349     {
 350       wsInfo.appendProgressText(job.getValidationMessages());
 351     }
 352   }
 353
 354   public void StartJob(AWsJob j)
 355   {
 356     if (!(j instanceof JPredJob))
 357     {
 358       throw new Error(
 359               "Implementation error - StartJob(JpredJob) called on "
 360                       + j.getClass());
 361     }
 362     try
 363     {
 364       JPredJob job = (JPredJob) j;
 365       if (job.msa != null)
 366       {
 367         job.setJobId(server.predictOnMsa(job.msa));
 368       }
 369       else if (job.sequence != null)
 370       {
 371         job.setJobId(server.predict(job.sequence)); // debug like : job.jobId =
 372         // "/jobs/www-jpred/jp_Yatat29";//
 373       }
 374
 375       if (job.getJobId() != null)
 376       {
 377         if (job.getJobId().startsWith("Broken"))
 378         {
 379           job.result = (vamsas.objects.simple.Result) new JpredResult();
 380           job.result.setInvalid(true);
 381           job.result.setStatus("Submission " + job.getJobId());
 382           throw new Exception(job.getJobId());
 383         }
 384         else
 385         {
 386           job.setSubmitted(true);
 387           job.setSubjobComplete(false);
 388           Cache.log.info(WsUrl + " Job Id '" + job.getJobId() + "'");
 389         }
 390       }
 391       else
 392       {
 393         throw new Exception("Server timed out - try again later\n");
 394       }
 395     } catch (Exception e)
 396     {
 397       // kill the whole job.
 398       wsInfo.setStatus(WebserviceInfo.STATE_STOPPED_SERVERERROR);
 399       if (e.getMessage().indexOf("Exception") > -1)
 400       {
 401         wsInfo.setStatus(j.getJobnum(),
 402                 WebserviceInfo.STATE_STOPPED_SERVERERROR);
 403         wsInfo.setProgressText(
 404                 j.getJobnum(),
 405                 "Failed to submit the prediction. (Just close the window)\n"
 406                         + "It is most likely that there is a problem with the server.\n");
 407         System.err
 408                 .println("JPredWS Client: Failed to submit the prediction. Quite possibly because of a server error - see below)\n"
 409                         + e.getMessage() + "\n");
 410
 411         jalview.bin.Cache.log.warn("Server Exception", e);
 412       }
 413       else
 414       {
 415         wsInfo.setStatus(j.getJobnum(), WebserviceInfo.STATE_STOPPED_ERROR);
 416         // JBPNote - this could be a popup informing the user of the problem.
 417         wsInfo.appendProgressText(j.getJobnum(),
 418                 "Failed to submit the prediction:\n" + e.getMessage()
 419                         + wsInfo.getProgressText());
 420
 421         jalview.bin.Cache.log.debug(
 422                 "Failed Submission of job " + j.getJobnum(), e);
 423
 424       }
 425       j.setAllowedServerExceptions(-1);
 426       j.setSubjobComplete(true);
 427     }
 428   }
 429
 430   public void parseResult()
 431   {
 432     int results = 0; // number of result sets received
 433     JobStateSummary finalState = new JobStateSummary();
 434     try
 435     {
 436       for (int j = 0; j < jobs.length; j++)
 437       {
 438         finalState.updateJobPanelState(wsInfo, OutputHeader, jobs[j]);
 439         if (jobs[j].isSubmitted() && jobs[j].isSubjobComplete()
 440                 && jobs[j].hasResults())
 441         {
 442           results++;
 443         }
 444       }
 445     } catch (Exception ex)
 446     {
 447
 448       Cache.log.error("Unexpected exception when processing results for "
 449               + altitle, ex);
 450       wsInfo.setStatus(WebserviceInfo.STATE_STOPPED_ERROR);
 451     }
 452     if (results > 0)
 453     {
 454       wsInfo.showResultsNewFrame
 455               .addActionListener(new java.awt.event.ActionListener()
 456               {
 457                 public void actionPerformed(java.awt.event.ActionEvent evt)
 458                 {
 459                   displayResults(true);
 460                 }
 461               });
 462       wsInfo.mergeResults
 463               .addActionListener(new java.awt.event.ActionListener()
 464               {
 465                 public void actionPerformed(java.awt.event.ActionEvent evt)
 466                 {
 467                   displayResults(false);
 468                 }
 469               });
 470       wsInfo.setResultsReady();
 471     }
 472     else
 473     {
 474       wsInfo.setStatus(wsInfo.STATE_STOPPED_ERROR);
 475       wsInfo.appendInfoText("No jobs ran.");
 476       wsInfo.setFinishedNoResults();
 477     }
 478   }
 479
 480   void displayResults(boolean newWindow)
 481   {
 482     // TODO: cope with multiple subjobs.
 483     if (jobs != null)
 484     {
 485       Object[] res = null;
 486       boolean msa = false;
 487       for (int jn = 0; jn < jobs.length; jn++)
 488       {
 489         Object[] jobres = null;
 490         JPredJob j = (JPredJob) jobs[jn];
 491
 492         if (j.hasResults())
 493         {
 494           // hack - we only deal with all single seuqence predictions or all
 495           // profile predictions
 496           msa = (j.msa != null) ? true : msa;
 497           try
 498           {
 499             jalview.bin.Cache.log.debug("Parsing output of job " + jn);
 500             jobres = j.getResultSet();
 501             jalview.bin.Cache.log.debug("Finished parsing output.");
 502             if (jobs.length == 1)
 503             {
 504               res = jobres;
 505             }
 506             else
 507             {
 508               // do merge with other job results
 509               throw new Error(
 510                       "Multiple JNet subjob merging not yet implemented.");
 511             }
 512           } catch (Exception e)
 513           {
 514             jalview.bin.Cache.log.error(
 515                     "JNet Client: JPred Annotation Parse Error", e);
 516             wsInfo.setStatus(j.getJobnum(),
 517                     WebserviceInfo.STATE_STOPPED_ERROR);
 518             wsInfo.appendProgressText(j.getJobnum(), OutputHeader + "\n"
 519                     + j.result.getStatus()
 520                     + "\nInvalid JNet job result data!\n" + e.getMessage());
 521             j.result.setBroken(true);
 522           }
 523         }
 524       }
 525
 526       if (res != null)
 527       {
 528         if (newWindow)
 529         {
 530           AlignFrame af;
 531           if (input == null)
 532           {
 533             if (res[1] != null)
 534             {
 535               af = new AlignFrame((Alignment) res[0],
 536                       (ColumnSelection) res[1], AlignFrame.DEFAULT_WIDTH,
 537                       AlignFrame.DEFAULT_HEIGHT);
 538             }
 539             else
 540             {
 541               af = new AlignFrame((Alignment) res[0],
 542                       AlignFrame.DEFAULT_WIDTH, AlignFrame.DEFAULT_HEIGHT);
 543             }
 544           }
 545           else
 546           {
 547             /*
 548              * java.lang.Object[] alandcolsel =
 549              * input.getAlignmentAndColumnSelection
 550              * (alignFrame.getViewport().getGapCharacter()); if
 551              * (((SequenceI[])alandcolsel[0])[0].getLength()!=res.getWidth()) {
 552              * if (msa) { throw new Error("Implementation Error! ColumnSelection
 553              * from input alignment will not map to result alignment!"); } } if
 554              * (!msa) { // update hidden regions to account for loss of gaps in
 555              * profile. - if any // gapMap returns insert list, interpreted as
 556              * delete list by pruneDeletions //((ColumnSelection)
 557              * alandcolsel[1]).pruneDeletions(ShiftList.parseMap(((SequenceI[])
 558              * alandcolsel[0])[0].gapMap())); }
 559              */
 560
 561             af = new AlignFrame((Alignment) res[0],
 562                     (ColumnSelection) res[1], AlignFrame.DEFAULT_WIDTH,
 563                     AlignFrame.DEFAULT_HEIGHT);
 564           }
 565           Desktop.addInternalFrame(af, altitle, AlignFrame.DEFAULT_WIDTH,
 566                   AlignFrame.DEFAULT_HEIGHT);
 567         }
 568         else
 569         {
 570           Cache.log.info("Append results onto existing alignment.");
 571         }
 572       }
 573     }
 574   }
 575
 576   public void pollJob(AWsJob job) throws Exception
 577   {
 578     ((JPredJob) job).result = server.getresult(job.getJobId());
 579   }
 580
 581   public boolean isCancellable()
 582   {
 583     return false;
 584   }
 585
 586   public void cancelJob()
 587   {
 588     throw new Error("Implementation error!");
 589   }
 590
 591   public boolean canMergeResults()
 592   {
 593     return false;
 594   }
 595
 596 }