website/man_stats.html

   1 <?xml version="1.0" encoding="UTF-8"?>\r
   2 <!DOCTYPE html PUBLIC "XHTML 1.0 Strict"\r
   3 "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">\r
   4 <html xmlns="http://www.w3.org/1999/xhtml">\r
   5 <head>\r
   6 <meta name="Last-modified" content="Fri, 28 Jun 2013 12:00:00 GMT"/>\r
   7 <title>Java Bioinformatics Analyses Web Services (JABAWS) Command Line Client manual</title>\r
   8 <link href="ws.css" rel="stylesheet" type="text/css" media="screen, projection, handheld, tv" />\r
   9 <link rel="stylesheet" type="text/css" media="print" href="print.css" />\r
  10 <script type="text/javascript" src="prototype-1.6.0.3.js"></script>\r
  11 </head>\r
  12 \r
  13 <body>\r
  14 <div id="page">\r
  15 <div id="banner">\r
  16 <table>\r
  17   <tr>\r
  18     <td style="width:158px;"><a href="http://www.dundee.ac.uk"><img src="images/uod_lt_long.gif" width="158" height="90" alt="University of Dundee" class="logo" title="University of Dundee" longdesc="http://www.dundee.ac.uk"/></a></td>\r
  19     <td class="bg"><img src="images/jabaws201-2.png" width="263" height="60" alt="JABAWS-2.0.1" title="Java Bioinformatics Analysis Web Services version 2.0.1"/></td>\r
  20     <td class="bg"><img src="images/banner_right.png" alt="Disorder" width="200" height="80"/></td>\r
  21   </tr>\r
  22 </table>\r
  23 </div>\r
  24 <!-- banner end-->\r
  25 \r
  26 \r
  27 <div id="wrapper">\r
  28 <div id="panel"><a href="index.html">Home</a> \r
  29   <a href="quick_start.html">Getting Started</a> \r
  30   <a class="selected" href="man_about.html">Manual</a> \r
  31   <div id="submenu">\r
  32       <a href="man_about.html">About</a>\r
  33       <a href="man_servervm.html" title="JABAWS Server as Virtual Appliance">Server VA</a>\r
  34       <a href="man_awscloud.html" title="JABAWS Server in the Amazon EC2 Cloud">Server in the Cloud</a>\r
  35       <a href="man_serverwar.html" title="JABAWS Server as Web Application aRchive">Server WAR</a>\r
  36       <a href="man_configuration.html" >Server Configuration</a>\r
  37       <a href="man_client.html" title="JABAWS Command Line Client">CMD Client</a>\r
  38       <a class="selected" href="man_stats.html" title="JABAWS Usage Statistics">Usage Statistics</a>\r
  39       <a href="man_dev.html" title="Accessing JABAWS from your program">Accessing JABAWS</a>\r
  40       <a href="man_server_dev.html" >JABAWS Development</a>\r
  41   </div>\r
  42   <a href="http://www.compbio.dundee.ac.uk/download">Download</a> \r
  43   <a href="PublicAnnualStat" title="JABAWS usage statistics">Usage Statistics</a>\r
  44   <a href="ServiceStatus" title="JABAWS webservices status. Click to test all web services. Please be patient while the services are being checked">Services Status</a>\r
  45   <a href="contacts.html">Contact Us</a>\r
  46   <a href="http://www.compbio.dundee.ac.uk" title="University of Dundee, The Barton Group" >Barton Group</a>\r
  47   <a href="jabaws_funding.html">Funding</a>\r
  48 </div>\r
  49 <!-- panel end-->\r
  50 \r
  51 \r
  52 <div id="content">\r
  53 <h2 id="headtitle">JABAWS MANUAL</h2>\r
  54 \r
  55 <h2><a name="usingcclient" id="usingcclient"></a>JABAWS Usage Statistics </h2>\r
  56 <ul>\r
  57   <li><a href="#usage_sum">Summary of Usage</a></li>\r
  58   <li><a href="#helpUsageStats">Authentication</a></li>\r
  59   <li><a href="#detailed_usage">Detailed Usage Statistic </a></li>\r
  60   <li><a href="#job_list">Job List</a></li>\r
  61   <li><a href="#job_dir">Single Job Directory Content </a></li>\r
  62   <li><a href="#conf_tomcat_user">Configuring a privileged   access for Tomcat web application server</a></li>\r
  63   <li><a href="#exec_stat_conf">Configuring JABAWS execution statistics</a></li>\r
  64 </ul>\r
  65 <h3><a name="usage_sum"></a>Summary of Usage </h3>\r
  66 <p>JABAWS comes with a web application for visualizing usage statistics. The screenshot below shows the main page of this application. Each month is a link to the detailed usage statistics for this month described later. Please note however, that the links to the detailed monthly statistics are only available for authenticated users in the role <span class="hightlight">admin</span>. There is a link at the bottom of the page that would let you login, if you have not done so. </p>\r
  67 <p>If you are using JABAWS VA (Virtual Appliance) then the username is <span class="hightlight">jabaws</span> and password is not defined, e.g. empty. </p>\r
  68 <p>If you have deployed a JABAWS WAR file, then please see the <a href="#conf_tomcat_user">configuring privileged   access for Tomcat web application server</a> section for further details. </p>\r
  69 <p><img src="images/usage_statistics_main.gif" alt="JABAWS usage statistics" width="608" height="318"></p>\r
  70 <p>The table contains the number of jobs processed by JABAWS per month, for the whole   period when the statistics was collected</p>\r
  71 <p>For each month the table contains the following information.</p>\r
  72 <ul>\r
  73   <li>Month - the period of time for which statistics is displayed. For example Jan 2011 means period of time from the first of         January to the first of February.</li>\r
  74   <li>Total - the total number of jobs accepted by JABAWS</li>\r
  75   <li>Incomplete - the number of jobs for which the result file was not found or was empty excluding cancelled</li>\r
  76   <li>Cancelled - the number of jobs cancelled by the user</li>\r
  77   <li>Abandoned - the number of jobs which result(s) were not collected</li>\r
  78 </ul>\r
  79 <p>The summary for each column is displayed in the last row of the table.</p>\r
  80 <h3><a name="helpUsageStats"></a>Authentication</h3>\r
  81 <p>Authentication lets you see the detailed usage statistics. If you are using JABAWS VA (Virtual Appliance) then the username is <span class="hightlight">jabaws</span> and password is not defined, e.g. empty. In other cases you need to ask your system administrator for it. </p>\r
  82 <h3><a name="detailed_usage"></a>Detailed Usage Statistic  </h3>\r
  83 <p>Detailed execution statistics for each month is available for authenticated users only. </p>\r
  84 <p><img src="images/usage_statistics_month.gif" alt="JABAWS one month usage statistics" width="670" height="902"></p>\r
  85 <p>Each table contains the number of jobs processed by JABAWS during the period of   time specified in the title.</p>\r
  86 <ul>\r
  87   <li>The &quot;All Jobs&quot; table contains the summary of all jobs.</li>\r
  88   <li>&quot;Local Jobs&quot; table - contains the summary of the jobs calculated by the local engine.</li>\r
  89   <li>&quot;Cluster Jobs&quot; table - contains the summary of the jobs calculated by the cluster.</li>\r
  90 </ul>\r
  91 Each table contains the following information for each web service\r
  92 <ul>\r
  93   <li>Total - the total number of jobs accepted by a particular JABA service</li>\r
  94   <li>Incomplete - the number of jobs for which the result file was not found or was empty excluding cancelled</li>\r
  95   <li>Cancelled - the number of jobs cancelled by the user</li>\r
  96   <li>Abandoned - the number of jobs which result(s) were not collected</li>\r
  97 </ul>\r
  98 <h3><a name="job_list"></a>Job List </h3>\r
  99 <p>Please note that if you deployed JABAWS WAR, in order to be able to navigate to the job directory from this view the application server may need to be configured. Please see  <a href="#exec_stat_conf">Configuring JABAWS execution statistics</a> section for further details. </p>\r
 100 <p><img src="images/usage_statistics_details.gif" alt="JABAWS - job list" width="917" height="198"> </p>\r
 101 <p>Columns </p>\r
 102 <ul>\r
 103   <li>JobID - the JABAWS job id, unique for every job</li>\r
 104   <li>Cluster JobID - cluster job id</li>\r
 105   <li>InputSize - input size in bytes</li>\r
 106   <li>ResultSize - result size in bytes</li>\r
 107   <li>Runtime (s) - job's runtime in seconds</li>\r
 108   <li>Start time (s)- job's start time and date</li>\r
 109   <li>Finish time (s)- job's finish time and date</li>\r
 110   <li>isCancelled - whether the job was cancelled</li>\r
 111   <li>isCollected - whether the job was collected. False for the jobs   that has been initiated but which results has never been retrieved</li>\r
 112   <li>isFinished - whether the job has finished. This does not necessarily mean that the job has produced the result.           The job can sometime finish in failure.</li>\r
 113 </ul>\r
 114 <h3><a name="job_dir"></a>JABAWS Job Directory Content </h3>\r
 115 <p><img src="images/usage_statistics_job_details.gif" alt="JABAWS- job details" width="716" height="420"></p>\r
 116 <p>STARTED and FINISHED files contain Unix timestamp - when the job was started and completed respectively. STARTED is replaced by SUBMITTED if the job has been submitted to the cluster, as opposed to executed locally, on the server. </p>\r
 117 <p>COLLECTED file is empty and indicates that the job results were collected by the user. Due to asynchronous   nature of the job it is possible that the job was started and finished, but the results has never been requested. </p>\r
 118 <p>RunnerConfig.xml file contains a complete description of the job and JABAWS can restart the job based on this description. </p>\r
 119 <p>procError.txt and procOutput.txt files  contains the content of the standard out and standard error streams of the process. </p>\r
 120 <p>result.txt file contains the results. </p>\r
 121 <p>input.txt file contains input into the process. </p>\r
 122 <p>There are maybe other files depending on the nature of the job, but the one described above will present in most cases. In this example, stat.log file stories the execution statistics generated by the process (clustal executable in this example).</p>\r
 123 <p> If you have deployed JABAWS WAR file or made changes to JABAWS configuration you may need to make a few changes to the Tomcat configuration to be able to see the content of the job directory. Please see <a href="#exec_stat_conf">Configuring JABAWS execution statistics</a> section for further details. </p>\r
 124 <h3><a name="exec_stat_conf"></a>Configuring JABAWS execution statistics</h3>\r
 125 <p>JABAWS execution statistics is a multi-component system. First is a crawler which job is to collect and preprocess the statistics from the job temporary directories and record the collected statistics into the database. The second part of the system is a web application which job is to visualise the statistics from the database. </p>\r
 126 <p>It is possible to enable/disable the statistics collector by changing the following properties in the conf/Cluster.engine.properties and conf/Local.engine.properties files. </p>\r
 127 <p class="box"># Enable/disable cluster statistics collector true = enable, false = disable <br>\r
 128   cluster.stat.collector.enable=false\r
 129   <br/>\r
 130   # Maximum amount of time the job is considered be running in hours. Optional defaults to 7 days (168h) <br>\r
 131   cluster.stat.maxruntime=24</p>\r
 132 <p class="box"># Enable/disable cluster statistics collector true = enable, false = disable <br>\r
 133   local.stat.collector.enable=true\r
 134   <br/>\r
 135   # Maximum amount of time the job is considered to be running in hours. Optional defaults to 24 hours<br>\r
 136   local.stat.maxruntime=6</p>\r
 137 <p>If the statistics collector is enabled then the crawler  starts automatically soon after (10 minutes for local engine, and 60 minutes for cluster engine) the JABAWS web application and will be collecting the execution statistics every 24 hours after the start. </p>\r
 138 <p>The details of the job are only available if the job temporary directory is located within a JABAWS web application. If not, the system administrator can create a symbolic link pointing to  the temporary job directories outside of a web application and configure the  application server to allow navigation to the links.  For the Tomcat application server the context configuration file should be created and copied to the &lt;TOMCAT_ROOT&gt;/conf/Catalina/localhost directory. The name of the file should be the same as the web application context name, for example &quot;<span class="hightlight">jabaws.xml</span>&quot; for jabaws. Where the TOMCAT_ROOT is the location of the Tomcat web application server. Here is an example of such a file: </p>\r
 139 <p><span class="code">&lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&gt;<br>\r
 140 &lt;Context antiResourceLocking=&quot;false&quot; privileged=&quot;true&quot; allowLinking=&quot;true&quot;/&gt;</span></p>\r
 141 <p>The key option here is this: <span class="hightlight">allowLinking=&quot;true&quot;</span>. Please also make sure that you have defined the user in role &quot;<span class="hightlight">admin</span>&quot; as described <a href="#conf_tomcat_user">below</a>.</p>\r
 142 <h3><a name="conf_tomcat_user" id="conf_tomcat_user"></a>Configuring a privileged   access for Tomcat web application server</h3>\r
 143 <p>Access to configuration files, detailed job execution statistics and job directories are allowed only for authenticated users in role &quot;<span class="hightlight">admin</span>&quot;. </p>\r
 144 <p>If you use Tomcat, then the simplest way to set up privileged   access is to use a plain text configuration file <span class="hightlight">conf/tomcat-user.xml</span>. Here is an example of such configuration file defining user &quot;<span class="hightlight">peter</span>&quot; in role &quot;<span class="hightlight">admin</span>&quot;. <span class="code">&lt;tomcat-users&gt;<br/>\r
 145   &lt;role rolename=&quot;admin&quot;/&gt;<br />\r
 146   &lt;user username=&quot;peter&quot; password=&quot;your password here &quot; roles=&quot;admin&quot;/&gt;<br/>\r
 147   &lt;/tomcat-users&gt;</span></p>\r
 148 <p>For more information on users and roles please consult Apache-Tomcat help pages. </p>\r
 149 <p><br>\r
 150 </p>\r
 151 </div><!-- content end-->\r
 152 <div id="copyright">Last update: 28 June 2013<br/>Sasha Sherstnev, Peter Troshin, Jim Procter and Geoff Barton, The Barton Group, University of Dundee, UK</div>\r
 153 </div><!-- wrapper end-->\r
 154 </div><!-- page end-->\r
 155 \r
 156 \r
 157 <!-- Google analitics -->\r
 158 <script type="text/javascript">\r
 159 var gaJsHost = (("https:" == document.location.protocol) ? "https://ssl." : "http://www.");\r
 160 document.write(unescape("%3Cscript src='" + gaJsHost + "google-analytics.com/ga.js' type='text/javascript'%3E%3C/script%3E"));\r
 161 </script>\r
 162 <script type="text/javascript">\r
 163 try{\r
 164 var pageTracker = _gat._getTracker("UA-5356328-1");\r
 165 pageTracker._trackPageview();\r
 166 } catch(err) {}\r
 167 </script>\r
 168 </body>\r
 169 </html>\r