src/jalview/ws/slivkaws/SlivkaWSInstance.java

   1 package jalview.ws.slivkaws;
   2
   3 import jalview.datamodel.SequenceI;
   4 import jalview.gui.WebserviceInfo;
   5 import jalview.io.FileFormat;
   6 import jalview.io.FormatAdapter;
   7 import jalview.ws.api.JalviewServiceEndpointProviderI;
   8 import jalview.ws.api.JalviewWebServiceI;
   9 import jalview.ws.api.JobId;
  10 import jalview.ws.api.ServiceWithParameters;
  11 import jalview.ws.gui.WsJob;
  12 import jalview.ws.params.ArgumentI;
  13 import jalview.ws.params.ParamDatastoreI;
  14 import jalview.ws.params.ParamManager;
  15 import jalview.ws.params.WsParamSetI;
  16 import javajs.http.ClientProtocolException;
  17
  18 import java.io.ByteArrayInputStream;
  19 import java.io.ByteArrayOutputStream;
  20 import java.io.IOError;
  21 import java.io.IOException;
  22 import java.io.InputStream;
  23 import java.util.Arrays;
  24 import java.util.Collection;
  25 import java.util.EnumMap;
  26 import java.util.HashSet;
  27 import java.util.List;
  28 import java.util.Set;
  29
  30 import uk.ac.dundee.compbio.slivkaclient.Job;
  31 import uk.ac.dundee.compbio.slivkaclient.JobRequest;
  32 import uk.ac.dundee.compbio.slivkaclient.Parameter;
  33 import uk.ac.dundee.compbio.slivkaclient.RemoteFile;
  34 import uk.ac.dundee.compbio.slivkaclient.SlivkaClient;
  35 import uk.ac.dundee.compbio.slivkaclient.SlivkaService;
  36
  37 public abstract class SlivkaWSInstance extends ServiceWithParameters
  38     implements JalviewServiceEndpointProviderI, JalviewWebServiceI
  39 {
  40   protected final SlivkaClient client;
  41
  42   protected final SlivkaService service;
  43
  44   protected SlivkaDatastore store = null;
  45
  46   protected static final EnumMap<Job.Status, WsJob.JobState> stateMap = new EnumMap<>(Job.Status.class);
  47   {
  48     stateMap.put(Job.Status.PENDING, WsJob.JobState.QUEUED);
  49     stateMap.put(Job.Status.REJECTED, WsJob.JobState.INVALID);
  50     stateMap.put(Job.Status.ACCEPTED, WsJob.JobState.QUEUED);
  51     stateMap.put(Job.Status.QUEUED, WsJob.JobState.QUEUED);
  52     stateMap.put(Job.Status.RUNNING, WsJob.JobState.RUNNING);
  53     stateMap.put(Job.Status.COMPLETED, WsJob.JobState.FINISHED);
  54     stateMap.put(Job.Status.INTERRUPTED, WsJob.JobState.CANCELLED);
  55     stateMap.put(Job.Status.DELETED, WsJob.JobState.CANCELLED);
  56     stateMap.put(Job.Status.FAILED, WsJob.JobState.FAILED);
  57     stateMap.put(Job.Status.ERROR, WsJob.JobState.SERVERERROR);
  58     stateMap.put(Job.Status.UNKNOWN, WsJob.JobState.UNKNOWN);
  59   }
  60   protected final Set<WsJob.JobState> failedStates = new HashSet<>(Arrays.asList(
  61       WsJob.JobState.INVALID, WsJob.JobState.BROKEN, WsJob.JobState.FAILED,
  62       WsJob.JobState.SERVERERROR, WsJob.JobState.CANCELLED
  63   ));
  64
  65   public SlivkaWSInstance(SlivkaClient client, SlivkaService service, String action)
  66   {
  67     super(action, action, service.getName(), "Slivka", client.getUrl().toString());
  68     this.client = client;
  69     this.service = service;
  70   }
  71
  72   protected final JobId submit(List<SequenceI> sequences,
  73           WsParamSetI preset, List<ArgumentI> args) throws Throwable
  74   {
  75     var parameters = service.getParameters();
  76     var request = new JobRequest();
  77     for (Parameter param : parameters)
  78     {
  79       if (param instanceof Parameter.FileParameter)
  80       {
  81         FormatAdapter fa = new FormatAdapter();
  82         fa.setNewlineString("\r\n");
  83         Parameter.FileParameter fileParam = (Parameter.FileParameter) param;
  84         FileFormat format;
  85         switch (fileParam.getMediaType())
  86         {
  87         case "application/pfam":
  88           format = FileFormat.Pfam;
  89           break;
  90         case "application/stockholm":
  91           format = FileFormat.Stockholm;
  92           break;
  93         default:
  94         case "application/fasta":
  95           format = FileFormat.Fasta;
  96           break;
  97         }
  98
  99         // we avoid any use of Jalview's user facing export routines here
 100
 101         InputStream stream = new ByteArrayInputStream(format.getWriter(null)
 102                 .print(sequences.toArray(new SequenceI[0]), false)
 103                 .getBytes());
 104         request.addFile(param.getId(), stream);
 105       }
 106     }
 107     if (args != null)
 108     {
 109       for (ArgumentI arg : args)
 110       {
 111         // multiple choice field names are name$number to avoid duplications
 112         // the number is stripped here
 113         String paramId = arg.getName().split("\\$", 2)[0];
 114         Parameter param = service.getParameter(paramId);
 115         if (param instanceof Parameter.FlagParameter) {
 116           if (arg.getValue() != null && !arg.getValue().isBlank())
 117             request.addData(paramId, true);
 118           else
 119             request.addData(paramId, false);
 120         }
 121         else
 122         {
 123           request.addData(paramId, arg.getValue());
 124         }
 125       }
 126     }
 127     var job = service.submitJob(request);
 128     return new JobId(service.getName(), service.getName(), job.getId());
 129   }
 130
 131   @Override
 132   public final void updateStatus(WsJob job)
 133   {
 134     try
 135     {
 136       var slivkaJob = client.getJob(job.getJobId());
 137       job.setState(stateMap.get(slivkaJob.getStatus()));
 138     } catch (IOException e)
 139     {
 140       throw new IOError(e);
 141     }
 142   }
 143
 144   @Override
 145   public final boolean updateJobProgress(WsJob job) throws IOException
 146   {
 147     var slivkaJob = client.getJob(job.getJobId());
 148     Collection<RemoteFile> files = slivkaJob.getResults();
 149     RemoteFile logFile=null;
 150     for (RemoteFile f : files)
 151     {
 152       if (f.getLabel().equals("log"))
 153       {
 154         logFile = f; break;
 155       }
 156     }
 157
 158     boolean newContent = false;
 159     if (logFile!=null)
 160     {
 161       ByteArrayOutputStream output = new ByteArrayOutputStream();
 162       logFile.writeTo(output);
 163       if (output.size() > job.getNextChunk())
 164       {
 165         newContent = true;
 166         job.setStatus(output.toString("UTF-8"));
 167         job.setnextChunk(output.size());
 168       }
 169     }
 170     if (failedStates.contains(job.getJobState()))
 171     {
 172
 173       RemoteFile errLogFile = null;
 174       for (RemoteFile f : files)
 175       {
 176         if (f.getLabel().equals("error-log"))
 177         {
 178           errLogFile = f;
 179           break;
 180         }
 181       }
 182
 183       if (errLogFile!=null)
 184       {
 185         ByteArrayOutputStream output = new ByteArrayOutputStream();
 186         errLogFile.writeTo(output);
 187         if (output.size() > 0)
 188         {
 189           newContent = true;
 190           job.setStatus(job.getStatus() + "\n" + output.toString("UTF-8"));
 191         }
 192       }
 193     }
 194     return newContent;
 195   }
 196
 197   @Override
 198   public final boolean handleSubmitError(Throwable _lex, WsJob j, WebserviceInfo wsInfo)
 199   {
 200     if (_lex instanceof ClientProtocolException)
 201     {
 202       j.setState(WsJob.JobState.INVALID);
 203       j.setStatus(_lex.getMessage());
 204       return true;
 205     }
 206     return false;
 207   }
 208
 209   @Override
 210   public final boolean handleCollectionException(Exception e, WsJob msjob, WebserviceInfo wsInfo)
 211   {
 212     // TODO
 213     return false;
 214   }
 215
 216   final SlivkaService getService()
 217   {
 218     return service;
 219   }
 220
 221   @Override
 222   public final Object getEndpoint()
 223   {
 224     return this;
 225   }
 226
 227   @Override
 228   public final void initParamStore(ParamManager userParameterStore)
 229   {
 230     if (store == null)
 231     {
 232       try
 233       {
 234         store = new SlivkaDatastore(service);
 235       } catch (IOException e)
 236       {
 237         throw new IOError(e);
 238       }
 239     }
 240   }
 241
 242   @Override
 243   public boolean hasParameters()
 244   {
 245     return true;
 246   }
 247
 248   @Override
 249   public final ParamDatastoreI getParamStore()
 250   {
 251     if (store == null)
 252     {
 253       initParamStore(null);
 254     }
 255     return store;
 256   }
 257
 258 }