src/jalview/ws/slivkaws/SlivkaWSInstance.java

   1 package jalview.ws.slivkaws;
   2
   3 import jalview.datamodel.SequenceI;
   4 import jalview.gui.WebserviceInfo;
   5 import jalview.io.FileFormat;
   6 import jalview.io.FormatAdapter;
   7 import jalview.ws.api.JalviewServiceEndpointProviderI;
   8 import jalview.ws.api.JalviewWebServiceI;
   9 import jalview.ws.api.JobId;
  10 import jalview.ws.api.ServiceWithParameters;
  11 import jalview.ws.gui.WsJob;
  12 import jalview.ws.params.ArgumentI;
  13 import jalview.ws.params.ParamDatastoreI;
  14 import jalview.ws.params.ParamManager;
  15 import jalview.ws.params.WsParamSetI;
  16 import javajs.http.ClientProtocolException;
  17
  18 import java.io.ByteArrayInputStream;
  19 import java.io.ByteArrayOutputStream;
  20 import java.io.IOError;
  21 import java.io.IOException;
  22 import java.io.InputStream;
  23 import java.util.Arrays;
  24 import java.util.Collection;
  25 import java.util.EnumMap;
  26 import java.util.HashSet;
  27 import java.util.List;
  28 import java.util.Set;
  29
  30 import uk.ac.dundee.compbio.slivkaclient.Job;
  31 import uk.ac.dundee.compbio.slivkaclient.JobRequest;
  32 import uk.ac.dundee.compbio.slivkaclient.Parameter;
  33 import uk.ac.dundee.compbio.slivkaclient.RemoteFile;
  34 import uk.ac.dundee.compbio.slivkaclient.SlivkaClient;
  35 import uk.ac.dundee.compbio.slivkaclient.SlivkaService;
  36
  37 public abstract class SlivkaWSInstance extends ServiceWithParameters
  38     implements JalviewServiceEndpointProviderI, JalviewWebServiceI
  39 {
  40   protected final SlivkaClient client;
  41
  42   protected final SlivkaService service;
  43
  44   protected SlivkaDatastore store = null;
  45
  46   protected static final EnumMap<Job.Status, WsJob.JobState> stateMap = new EnumMap<>(Job.Status.class);
  47   {
  48     stateMap.put(Job.Status.PENDING, WsJob.JobState.QUEUED);
  49     stateMap.put(Job.Status.REJECTED, WsJob.JobState.INVALID);
  50     stateMap.put(Job.Status.ACCEPTED, WsJob.JobState.QUEUED);
  51     stateMap.put(Job.Status.QUEUED, WsJob.JobState.QUEUED);
  52     stateMap.put(Job.Status.RUNNING, WsJob.JobState.RUNNING);
  53     stateMap.put(Job.Status.COMPLETED, WsJob.JobState.FINISHED);
  54     stateMap.put(Job.Status.INTERRUPTED, WsJob.JobState.CANCELLED);
  55     stateMap.put(Job.Status.DELETED, WsJob.JobState.CANCELLED);
  56     stateMap.put(Job.Status.FAILED, WsJob.JobState.FAILED);
  57     stateMap.put(Job.Status.ERROR, WsJob.JobState.SERVERERROR);
  58     stateMap.put(Job.Status.UNKNOWN, WsJob.JobState.UNKNOWN);
  59   }
  60   protected final Set<WsJob.JobState> failedStates = new HashSet<>(Arrays.asList(
  61       WsJob.JobState.INVALID, WsJob.JobState.BROKEN, WsJob.JobState.FAILED,
  62       WsJob.JobState.SERVERERROR, WsJob.JobState.CANCELLED
  63   ));
  64
  65   public SlivkaWSInstance(SlivkaClient client, SlivkaService service, String action)
  66   {
  67     super(action, action, service.getName(), "Slivka", client.getUrl().toString());
  68     this.client = client;
  69     this.service = service;
  70   }
  71
  72   protected final JobId submit(List<SequenceI> sequences,
  73           WsParamSetI preset, List<ArgumentI> args) throws Throwable
  74   {
  75     var parameters = service.getParameters();
  76     var request = new JobRequest();
  77     for (Parameter param : parameters)
  78     {
  79       if (param instanceof Parameter.FileParameter)
  80       {
  81         FormatAdapter fa = new FormatAdapter();
  82         fa.setNewlineString("\r\n");
  83         Parameter.FileParameter fileParam = (Parameter.FileParameter) param;
  84         FileFormat format;
  85         switch (fileParam.getMediaType())
  86         {
  87         case "application/pfam":
  88           format = FileFormat.Pfam;
  89           break;
  90         case "application/stockholm":
  91           format = FileFormat.Stockholm;
  92           break;
  93         default:
  94         case "application/fasta":
  95           format = FileFormat.Fasta;
  96           break;
  97         }
  98         InputStream stream = new ByteArrayInputStream(
  99             fa.formatSequences(format, sequences.toArray(new SequenceI[0]))
 100                 .getBytes());
 101         request.addFile(param.getId(), stream);
 102       }
 103     }
 104     if (args != null)
 105     {
 106       for (ArgumentI arg : args)
 107       {
 108         // multiple choice field names are name$number to avoid duplications
 109         // the number is stripped here
 110         String paramId = arg.getName().split("\\$", 2)[0];
 111         Parameter param = service.getParameter(paramId);
 112         if (param instanceof Parameter.FlagParameter) {
 113           if (arg.getValue() != null && !arg.getValue().isBlank())
 114             request.addData(paramId, true);
 115           else
 116             request.addData(paramId, false);
 117         }
 118         else
 119         {
 120           request.addData(paramId, arg.getValue());
 121         }
 122       }
 123     }
 124     var job = service.submitJob(request);
 125     return new JobId(service.getName(), service.getName(), job.getId());
 126   }
 127
 128   @Override
 129   public final void updateStatus(WsJob job)
 130   {
 131     try
 132     {
 133       var slivkaJob = client.getJob(job.getJobId());
 134       job.setState(stateMap.get(slivkaJob.getStatus()));
 135     } catch (IOException e)
 136     {
 137       throw new IOError(e);
 138     }
 139   }
 140
 141   @Override
 142   public final boolean updateJobProgress(WsJob job) throws IOException
 143   {
 144     var slivkaJob = client.getJob(job.getJobId());
 145     Collection<RemoteFile> files = slivkaJob.getResults();
 146     RemoteFile logFile=null;
 147     for (RemoteFile f : files)
 148     {
 149       if (f.getLabel().equals("log"))
 150       {
 151         logFile = f; break;
 152       }
 153     }
 154
 155     boolean newContent = false;
 156     if (logFile!=null)
 157     {
 158       ByteArrayOutputStream output = new ByteArrayOutputStream();
 159       logFile.writeTo(output);
 160       if (output.size() > job.getNextChunk())
 161       {
 162         newContent = true;
 163         job.setStatus(output.toString("UTF-8"));
 164         job.setnextChunk(output.size());
 165       }
 166     }
 167     if (failedStates.contains(job.getJobState()))
 168     {
 169
 170       RemoteFile errLogFile = null;
 171       for (RemoteFile f : files)
 172       {
 173         if (f.getLabel().equals("error-log"))
 174         {
 175           errLogFile = f;
 176           break;
 177         }
 178       }
 179
 180       if (errLogFile!=null)
 181       {
 182         ByteArrayOutputStream output = new ByteArrayOutputStream();
 183         errLogFile.writeTo(output);
 184         if (output.size() > 0)
 185         {
 186           newContent = true;
 187           job.setStatus(job.getStatus() + "\n" + output.toString("UTF-8"));
 188         }
 189       }
 190     }
 191     return newContent;
 192   }
 193
 194   @Override
 195   public final boolean handleSubmitError(Throwable _lex, WsJob j, WebserviceInfo wsInfo)
 196   {
 197     if (_lex instanceof ClientProtocolException)
 198     {
 199       j.setState(WsJob.JobState.INVALID);
 200       j.setStatus(_lex.getMessage());
 201       return true;
 202     }
 203     return false;
 204   }
 205
 206   @Override
 207   public final boolean handleCollectionException(Exception e, WsJob msjob, WebserviceInfo wsInfo)
 208   {
 209     // TODO
 210     return false;
 211   }
 212
 213   final SlivkaService getService()
 214   {
 215     return service;
 216   }
 217
 218   @Override
 219   public final Object getEndpoint()
 220   {
 221     return this;
 222   }
 223
 224   @Override
 225   public final void initParamStore(ParamManager userParameterStore)
 226   {
 227     if (store == null)
 228     {
 229       try
 230       {
 231         store = new SlivkaDatastore(service);
 232       } catch (IOException e)
 233       {
 234         throw new IOError(e);
 235       }
 236     }
 237   }
 238
 239   @Override
 240   public boolean hasParameters()
 241   {
 242     return true;
 243   }
 244
 245   @Override
 246   public final ParamDatastoreI getParamStore()
 247   {
 248     if (store == null)
 249     {
 250       initParamStore(null);
 251     }
 252     return store;
 253   }
 254
 255 }