src/jalview/ws2/slivka/SlivkaWebService.java

   1 package jalview.ws2.slivka;
   2
   3 import java.io.ByteArrayInputStream;
   4 import java.io.ByteArrayOutputStream;
   5 import java.io.IOException;
   6 import java.io.InputStream;
   7 import java.util.ArrayList;
   8 import java.util.Arrays;
   9 import java.util.Collection;
  10 import java.util.EnumMap;
  11 import java.util.HashSet;
  12 import java.util.List;
  13 import java.util.Set;
  14
  15 import jalview.api.AlignViewportI;
  16 import jalview.bin.Cache;
  17 import jalview.datamodel.Alignment;
  18 import jalview.datamodel.AlignmentAnnotation;
  19 import jalview.datamodel.AlignmentI;
  20 import jalview.datamodel.SequenceI;
  21 import jalview.io.AnnotationFile;
  22 import jalview.io.DataSourceType;
  23 import jalview.io.FeaturesFile;
  24 import jalview.io.FileFormat;
  25 import jalview.io.FileFormatI;
  26 import jalview.io.FormatAdapter;
  27 import jalview.ws.gui.WsJob;
  28 import jalview.ws.params.ArgumentI;
  29 import jalview.ws.params.ParamDatastoreI;
  30 import jalview.ws.params.WsParamSetI;
  31 import jalview.ws.slivkaws.SlivkaDatastore;
  32 import jalview.ws2.WebServiceI;
  33 import jalview.ws2.operations.Operation;
  34 import jalview.ws2.ResultSupplier;
  35 import jalview.ws2.WSJob;
  36 import jalview.ws2.WSJobStatus;
  37 import javajs.http.ClientProtocolException;
  38 import uk.ac.dundee.compbio.slivkaclient.Job;
  39 import uk.ac.dundee.compbio.slivkaclient.Parameter;
  40 import uk.ac.dundee.compbio.slivkaclient.RemoteFile;
  41 import uk.ac.dundee.compbio.slivkaclient.SlivkaClient;
  42 import uk.ac.dundee.compbio.slivkaclient.SlivkaService;
  43
  44 public class SlivkaWebService implements WebServiceI
  45 {
  46   protected final SlivkaClient client;
  47
  48   protected final SlivkaService service;
  49
  50   protected SlivkaDatastore store = null;
  51
  52   protected final ArrayList<Operation> operations = new ArrayList<>();
  53
  54   protected int typeFlags = 0;
  55
  56   protected static final EnumMap<Job.Status, WSJobStatus> statusMap = new EnumMap<>(
  57           Job.Status.class);
  58   {
  59     statusMap.put(Job.Status.PENDING, WSJobStatus.SUBMITTED);
  60     statusMap.put(Job.Status.REJECTED, WSJobStatus.INVALID);
  61     statusMap.put(Job.Status.ACCEPTED, WSJobStatus.QUEUED);
  62     statusMap.put(Job.Status.QUEUED, WSJobStatus.QUEUED);
  63     statusMap.put(Job.Status.RUNNING, WSJobStatus.RUNNING);
  64     statusMap.put(Job.Status.COMPLETED, WSJobStatus.FINISHED);
  65     statusMap.put(Job.Status.INTERRUPTED, WSJobStatus.CANCELLED);
  66     statusMap.put(Job.Status.DELETED, WSJobStatus.CANCELLED);
  67     statusMap.put(Job.Status.FAILED, WSJobStatus.FAILED);
  68     statusMap.put(Job.Status.ERROR, WSJobStatus.SERVER_ERROR);
  69     statusMap.put(Job.Status.UNKNOWN, WSJobStatus.UNKNOWN);
  70   }
  71
  72   public SlivkaWebService(SlivkaClient client, SlivkaService service)
  73   {
  74     this.client = client;
  75     this.service = service;
  76   }
  77
  78   @Override
  79   public String getHostName()
  80   {
  81     return client.getUrl().toString();
  82   }
  83
  84   @Override
  85   public String getProviderName()
  86   {
  87     return "slivka";
  88   }
  89
  90   @Override
  91   public String getName()
  92   {
  93     return service.getName();
  94   }
  95
  96   @Override
  97   public String getDescription()
  98   {
  99     return service.getDescription();
 100   }
 101
 102   @Override
 103   public List<Operation> getOperations()
 104   {
 105     return operations;
 106   }
 107
 108   void addOperation(Operation operation)
 109   {
 110     operations.add(operation);
 111   }
 112
 113   void removeOperation(Operation operation)
 114   {
 115     operations.remove(operation);
 116   }
 117
 118   @Override
 119   public boolean hasParameters()
 120   {
 121     return getParamStore().getServiceParameters().size() > 0;
 122   }
 123
 124   @Override
 125   public ParamDatastoreI getParamStore()
 126   {
 127     if (store == null)
 128     {
 129       store = new SlivkaDatastore(service);
 130     }
 131     return store;
 132   }
 133
 134   @Override
 135   public String submit(List<SequenceI> sequences, List<ArgumentI> args)
 136           throws IOException
 137   {
 138     var request = new uk.ac.dundee.compbio.slivkaclient.JobRequest();
 139     for (Parameter param : service.getParameters())
 140     {
 141       if (param instanceof Parameter.FileParameter)
 142       {
 143         // if finds a file input, gives it sequences stream
 144         Parameter.FileParameter fileParam = (Parameter.FileParameter) param;
 145         FileFormat format;
 146         switch (fileParam.getMediaType())
 147         {
 148         case "application/pfam":
 149           format = FileFormat.Pfam;
 150           break;
 151         case "application/stockholm":
 152           format = FileFormat.Stockholm;
 153           break;
 154         case "application/clustal":
 155           format = FileFormat.Clustal;
 156           break;
 157         case "application/fasta":
 158         default:
 159           format = FileFormat.Fasta;
 160           break;
 161         }
 162         InputStream stream = new ByteArrayInputStream(format.getWriter(null)
 163                 .print(sequences.toArray(new SequenceI[0]), false)
 164                 .getBytes());
 165         request.addFile(param.getId(), stream);
 166       }
 167     }
 168     if (args != null)
 169     {
 170       for (ArgumentI arg : args)
 171       {
 172         // multiple choice field names are name$number to avoid duplications
 173         // the number is stripped here
 174         String paramId = arg.getName().split("\\$", 2)[0];
 175         Parameter param = service.getParameter(paramId);
 176         if (param instanceof Parameter.FlagParameter)
 177         {
 178           if (arg.getValue() != null && !arg.getValue().isBlank())
 179             request.addData(paramId, true);
 180           else
 181             request.addData(paramId, false);
 182         }
 183         else
 184         {
 185           request.addData(paramId, arg.getValue());
 186         }
 187       }
 188     }
 189     var job = service.submitJob(request);
 190     return job.getId();
 191   }
 192
 193   @Override
 194   public void updateProgress(WSJob job) throws IOException
 195   {
 196     var slivkaJob = client.getJob(job.getJobId());
 197     job.setStatus(statusMap.get(slivkaJob.getStatus()));
 198     Collection<RemoteFile> files = slivkaJob.getResults();
 199     for (RemoteFile f : files)
 200     {
 201       if (f.getLabel().equals("log"))
 202       {
 203         ByteArrayOutputStream stream = new ByteArrayOutputStream();
 204         f.writeTo(stream);
 205         job.setLog(stream.toString("UTF-8"));
 206       }
 207       else if (f.getLabel().equals("error-log"))
 208       {
 209         ByteArrayOutputStream stream = new ByteArrayOutputStream();
 210         f.writeTo(stream);
 211         job.setErrorLog(stream.toString("UTF-8"));
 212       }
 213     }
 214   }
 215
 216   @Override
 217   public void cancel(WSJob job) throws IOException
 218   {
 219     Cache.log.warn("Slivka does not support job cancellation yet.");
 220   }
 221
 222   @Override
 223   public boolean handleSubmissionError(WSJob job, Exception ex)
 224   {
 225     if (ex instanceof ClientProtocolException)
 226     {
 227       Cache.log.error("Job submission failed due to exception.", ex);
 228       return true;
 229     }
 230     return false;
 231   }
 232
 233   @Override
 234   public boolean handleCollectionError(WSJob job, Exception ex)
 235   {
 236     // TODO Auto-generated method stub
 237     return false;
 238   }
 239
 240   public AlignmentI getAlignment(WSJob job, List<SequenceI> dataset,
 241       AlignViewportI viewport) throws IOException
 242   {
 243     Collection<RemoteFile> files;
 244     var slivkaJob = client.getJob(job.getJobId());
 245     files = slivkaJob.getResults();
 246     for (RemoteFile f : files)
 247     {
 248       if (f.getMediaType().equals("application/clustal"))
 249       {
 250         return new FormatAdapter().readFile(f.getContentUrl().toString(),
 251                 DataSourceType.URL, FileFormat.Clustal);
 252       }
 253       else if (f.getMediaType().equals("application/fasta"))
 254       {
 255         return new FormatAdapter().readFile(f.getContentUrl().toString(),
 256                 DataSourceType.URL, FileFormat.Fasta);
 257       }
 258     }
 259     return null;
 260   }
 261
 262   public FeaturesFile getFeaturesFile(WSJob job,
 263       List<SequenceI> dataset, AlignViewportI viewport) throws IOException
 264   {
 265     var slivkaJob = client.getJob(job.getJobId());
 266     Collection<RemoteFile> files = slivkaJob.getResults();
 267     for (RemoteFile f : files)
 268     {
 269       if (f.getMediaType().equals("application/jalview-features"))
 270       {
 271         return new FeaturesFile(f.getContentUrl().toString(), DataSourceType.URL);
 272       }
 273     }
 274     return null;
 275   }
 276
 277   public List<AlignmentAnnotation> getAnnotationFile(WSJob job,
 278       List<SequenceI> dataset, AlignViewportI viewport) throws IOException
 279   {
 280     var slivkaJob = client.getJob(job.getJobId());
 281     Collection<RemoteFile> files = slivkaJob.getResults();
 282     for (RemoteFile f : files)
 283     {
 284       if (f.getMediaType().equals("application/jalview-annotations"))
 285       {
 286         Alignment aln = new Alignment(dataset.toArray(new SequenceI[0]));
 287         AnnotationFile af = new AnnotationFile();
 288         boolean valid = af.readAnnotationFileWithCalcId(aln, service.getId(),
 289             f.getContentUrl().toString(), DataSourceType.URL);
 290         if (valid)
 291         {
 292           return Arrays.asList(aln.getAlignmentAnnotation());
 293         }
 294         else
 295         {
 296           throw new IOException("Unable to read annotations from file " +
 297               f.getContentUrl().toString());
 298         }
 299       }
 300     }
 301     return null;
 302   }
 303
 304   @Override
 305   public String toString()
 306   {
 307     return String.format("SlivkaWebService[%s]", getName());
 308   }
 309 }