website/man_stats.html

   1 <?xml version="1.0" encoding="UTF-8"?>\r
   2 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">\r
   3 <html xmlns="http://www.w3.org/1999/xhtml">\r
   4 \r
   5 <head>\r
   6 <meta name="Last-modified" content="Fri, 28 Jun 2013 12:00:00 GMT"/>\r
   7 <title>Java Bioinformatics Analyses Web Services (JABAWS): Manual</title>\r
   8 <link href="ws.css" rel="stylesheet" type="text/css" media="screen, projection, handheld, tv" />\r
   9 <link href="print.css" rel="stylesheet" type="text/css" media="print" />\r
  10 <link href='http://fonts.googleapis.com/css?family=Yanone+Kaffeesatz:700' rel='stylesheet' type='text/css' />\r
  11 <script type="text/javascript" src="prototype-1.6.0.3.js"></script>\r
  12 </head>\r
  13 \r
  14 <body>\r
  15 <div id="page">\r
  16 \r
  17 <div id="banner">\r
  18 <table>\r
  19   <tr>\r
  20     <td style="width:158px;"><a href="http://www.dundee.ac.uk"><img src="images/uod_lt_long.gif" width="158" height="90" alt="University of Dundee" class="logo" title="University of Dundee" longdesc="http://www.dundee.ac.uk"/></a></td>\r
  21     <td class="bg"><img src="images/jabaws21.png" width="256" height="67" alt="JABAWS-2.1" title="Java Bioinformatics Analysis Web Services version 2.1"/></td>\r
  22     <td class="bg"><img src="images/banner_right.png" alt="Disorder" width="200" height="80"/></td>\r
  23   </tr>\r
  24 </table>\r
  25 </div>\r
  26 <!-- banner end-->\r
  27 \r
  28 \r
  29 <div id="wrapper">\r
  30 <div id="panel">\r
  31         <div id="supermenu">\r
  32         <a class="newa" href="index.html">Home</a> \r
  33         <a class="newa" href="quick_start.html">Getting Started</a> \r
  34         <a class="newpressed" href="man_about.html">Manual</a> \r
  35         </div>\r
  36         <div id="submenu">\r
  37                 <a class="newa" href="man_about.html">About</a>\r
  38                 <a class="newa" href="man_servervm.html" title="JABAWS Server as Virtual Appliance">Server VA</a>\r
  39                 <a class="newa" href="man_awscloud.html" title="JABAWS Server in the Amazon EC2 Cloud">Server in the Cloud</a>\r
  40                 <a class="newa" href="man_serverwar.html" title="JABAWS Server as Web Application aRchive">Server WAR</a>\r
  41                 <a class="newa" href="man_configuration.html" >Configure JABAWS</a>\r
  42                 <a class="newa" href="man_client.html" title="JABAWS Command Line Client">Command Client</a>\r
  43                 <a class="newpressed" href="man_stats.html" title="JABAWS Usage Statistics">Usage Statistics</a>\r
  44                 <a class="newa" href="man_dev.html" title="Accessing JABAWS from your program">Accessing JABAWS</a>\r
  45                 <a class="newa" href="man_server_dev.html" >Develop JABAWS</a>\r
  46         </div>\r
  47 </div>\r
  48 <!-- panel end-->\r
  49 \r
  50 <div id="content">\r
  51 <h2 id="headtitle">JABAWS MANUAL</h2>\r
  52 \r
  53 <h2><a name="usingcclient" id="usingcclient"></a>JABAWS Usage Statistics </h2>\r
  54 <ul>\r
  55   <li><a href="#usage_sum">Summary of Usage</a></li>\r
  56   <li><a href="#helpUsageStats">Authentication</a></li>\r
  57   <li><a href="#detailed_usage">Detailed Usage Statistic </a></li>\r
  58   <li><a href="#job_list">Job List</a></li>\r
  59   <li><a href="#job_dir">Single Job Directory Content </a></li>\r
  60   <li><a href="#conf_tomcat_user">Configuring a privileged   access for Tomcat web application server</a></li>\r
  61   <li><a href="#exec_stat_conf">Configuring JABAWS execution statistics</a></li>\r
  62 </ul>\r
  63 <h3><a name="usage_sum"></a>Summary of Usage </h3>\r
  64 <p>JABAWS comes with a web application for visualizing usage statistics. The screenshot below shows the main page of this application. The individual month is linked to detailed usage statistics (described later). Please note, that the links to the detailed monthly statistics are only available for authenticated users in the role <span class="hightlight">admin</span>. There is a link at the bottom of the page that lets you login, if you have not done so. </p>\r
  65 <p>If you are using JABAWS VA (Virtual Appliance) then the username is <span class="hightlight">jabaws</span> and password is not defined, i.e. empty. </p>\r
  66 <p>If you have deployed a JABAWS WAR file, then please see the <a href="#conf_tomcat_user">configuring privileged   access for Tomcat web application server</a> section for further details. </p>\r
  67 <p><img src="images/usage_statistics_main.gif" alt="JABAWS usage statistics" width="608" height="318" /></p>\r
  68 <p>The table contains the number of jobs processed by JABAWS per month, for the whole   period when the statistics was collected</p>\r
  69 <p>For each month the table contains the following information.</p>\r
  70 <ul>\r
  71   <li>Month - the period of time for which statistics is displayed. For example Jan 2011 means period of time from the first of January to the first of February</li>\r
  72   <li>Total - the total number of jobs accepted by JABAWS</li>\r
  73   <li>Incomplete - the number of jobs for which the result file was not found or was empty excluding cancelled</li>\r
  74   <li>Cancelled - the number of jobs cancelled by the user</li>\r
  75   <li>Abandoned - the number of jobs which result(s) were not collected</li>\r
  76 </ul>\r
  77 <p>The summary for each column is displayed in the last row of the table.</p>\r
  78 <h3><a name="helpUsageStats"></a>Authentication</h3>\r
  79 <p>Authentication lets you see the detailed usage statistics. If you are using JABAWS VA (Virtual Appliance) then the username is <span class="hightlight">jabaws</span> and password is not defined, i.e. empty. In other cases you need to ask your system administrator for it. </p>\r
  80 <h3><a name="detailed_usage"></a>Detailed Usage Statistic  </h3>\r
  81 <p>Detailed execution statistics for each month is available for authenticated users only. </p>\r
  82 <p><img src="images/usage_statistics_month.gif" alt="JABAWS one month usage statistics" width="670" height="902" /></p>\r
  83 <p>Each table contains the number of jobs processed by JABAWS during the period of   time specified in the title:</p>\r
  84 <ul>\r
  85   <li>The &quot;All Jobs&quot; table contains the summary of all jobs</li>\r
  86   <li>&quot;Local Jobs&quot; table - contains the summary of the jobs calculated by the local engine</li>\r
  87   <li>&quot;Cluster Jobs&quot; table - contains the summary of the jobs calculated by the cluster</li>\r
  88 </ul>\r
  89 Each table contains the following information for each web service:\r
  90 <ul>\r
  91   <li>Total - the total number of jobs accepted by a particular JABA service</li>\r
  92   <li>Incomplete - the number of jobs for which the result file was not found or was empty excluding cancelled</li>\r
  93   <li>Cancelled - the number of jobs cancelled by the user</li>\r
  94   <li>Abandoned - the number of jobs which result(s) were not collected</li>\r
  95 </ul>\r
  96 <h3><a name="job_list"></a>Job List </h3>\r
  97 <p>Please note that if you deployed JABAWS WAR, in order to be able to navigate to the job directory from this view, the application server may need to be configured. Please see  <a href="#exec_stat_conf">Configuring JABAWS execution statistics</a> section for further details. </p>\r
  98 <p><img src="images/usage_statistics_details.gif" alt="JABAWS - job list" width="917" height="198" /> </p>\r
  99 <p>Columns: </p>\r
 100 <ul>\r
 101   <li>JobID - the JABAWS job id, unique for every job</li>\r
 102   <li>Cluster JobID - cluster job id</li>\r
 103   <li>InputSize - input size in bytes</li>\r
 104   <li>ResultSize - result size in bytes</li>\r
 105   <li>Runtime (s) - job's runtime in seconds</li>\r
 106   <li>Start time (s)- job's start time and date</li>\r
 107   <li>Finish time (s)- job's finish time and date</li>\r
 108   <li>isCancelled - whether the job was cancelled</li>\r
 109   <li>isCollected - whether the job was collected. False for the jobs   that has been initiated but which results has never been retrieved</li>\r
 110   <li>isFinished - whether the job has finished. This does not necessarily mean that the job has produced the result.           The job can sometime finish in failure</li>\r
 111 </ul>\r
 112 <h3><a name="job_dir"></a>JABAWS Job Directory Content </h3>\r
 113 <p><img src="images/usage_statistics_job_details.gif" alt="JABAWS- job details" width="716" height="420" /></p>\r
 114 <p>STARTED and FINISHED files contain Unix timestamp - when the job was started and completed respectively. STARTED is replaced by SUBMITTED if the job has been submitted to the cluster, as opposed to executed locally, on the server. </p>\r
 115 <p>COLLECTED file is empty and indicates that the job results were collected by the user. Due to asynchronous   nature of the job it is possible that the job was started and finished, but the results has never been requested. </p>\r
 116 <p>RunnerConfig.xml file contains a complete description of the job and JABAWS can restart the job based on this description. </p>\r
 117 <p>procError.txt and procOutput.txt files  contains the content of the standard out and standard error streams of the process. </p>\r
 118 <p>result.txt file contains the results. </p>\r
 119 <p>input.txt file contains input into the process. </p>\r
 120 <p>There are maybe other files depending on the nature of the job, but the one described above will be present in most cases. In this example, stat.log file stories the execution statistics generated by (clustal executable in this example) process.</p>\r
 121 <p> If you have deployed JABAWS WAR file or made changes to JABAWS configuration you may need to make a few changes to the Tomcat configuration to be able to see the content of the job directory. Please see <a href="#exec_stat_conf">Configuring JABAWS execution statistics</a> section for further details. </p>\r
 122 <h3><a name="exec_stat_conf"></a>Configuring JABAWS execution statistics</h3>\r
 123 <p>JABAWS execution statistics is a multi-component system. First is a crawler whose job is to collect and preprocess the statistics from the job temporary directories and record the collected statistics into the database. The second part of the system is a web application whose job is to visualise the statistics from the database. </p>\r
 124 <p>It is possible to enable/disable the statistics collector by changing the following properties in the conf/Cluster.engine.properties and conf/Local.engine.properties files. </p>\r
 125 <p class="box"># Enable/disable cluster statistics collector true = enable, false = disable <br/>\r
 126   cluster.stat.collector.enable=false\r
 127   <br/>\r
 128   # Maximum amount of time the job is considered be running in hours. Optional defaults to 7 days (168h) <br/>\r
 129   cluster.stat.maxruntime=24</p>\r
 130 <p class="box"># Enable/disable cluster statistics collector true = enable, false = disable <br/>\r
 131   local.stat.collector.enable=true\r
 132   <br/>\r
 133   # Maximum amount of time the job is considered to be running in hours. Optional defaults to 24 hours<br/>\r
 134   local.stat.maxruntime=6</p>\r
 135 <p>If the statistics collector is enabled then the crawler  starts automatically soon after (10 minutes for local engine, and 60 minutes for cluster engine) the JABAWS web application and will be collecting the execution statistics every 24 hours after the start. </p>\r
 136 <p>The details of the job are only available if the job temporary directory is located within a JABAWS web application. If not, the system administrator can create a symbolic link pointing to  the temporary job directories outside of a web application and configure the  application server to allow navigation to the links.  For the Tomcat application server the context configuration file should be created and copied to the &lt;TOMCAT_ROOT&gt;/conf/Catalina/localhost directory. The name of the file should be the same as the web application context name, for example &quot;<span class="hightlight">jabaws.xml</span>&quot; for jabaws. Where the TOMCAT_ROOT is the location of the Tomcat web application server. Here is an example of such a file: </p>\r
 137 <p><span class="code">&lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&gt;<br/>\r
 138 &lt;Context antiResourceLocking=&quot;false&quot; privileged=&quot;true&quot; allowLinking=&quot;true&quot;/&gt;</span></p>\r
 139 <p>The key option here is this: <span class="hightlight">allowLinking=&quot;true&quot;</span>. Please also make sure that you have defined the user in role &quot;<span class="hightlight">admin</span>&quot; as described <a href="#conf_tomcat_user">below</a>.</p>\r
 140 <h3><a name="conf_tomcat_user" id="conf_tomcat_user"></a>Configuring a privileged   access for Tomcat web application server</h3>\r
 141 <p>Access to configuration files, detailed job execution statistics and job directories are allowed only for authenticated users in role &quot;<span class="hightlight">admin</span>&quot;. </p>\r
 142 <p>If you use Tomcat, then the simplest way to set up privileged   access is to use a plain text configuration file <span class="hightlight">conf/tomcat-user.xml</span>. Here is an example of such configuration file defining user &quot;<span class="hightlight">peter</span>&quot; in role &quot;<span class="hightlight">admin</span>&quot;. <span class="code">&lt;tomcat-users&gt;<br/>\r
 143   &lt;role rolename=&quot;admin&quot;/&gt;<br />\r
 144   &lt;user username=&quot;peter&quot; password=&quot;your password here &quot; roles=&quot;admin&quot;/&gt;<br/>\r
 145   &lt;/tomcat-users&gt;</span></p>\r
 146 <p>For more information on users and roles please consult Apache-Tomcat help pages. </p>\r
 147 <p><br/>\r
 148 </p>\r
 149 </div><!-- content end-->\r
 150 <div id="copyright">Last update: 14 October 2013<br/>Sasha Sherstnev, Peter Troshin, Jim Procter and Geoff Barton, The Barton Group, University of Dundee, UK</div>\r
 151 </div><!-- wrapper end-->\r
 152 </div><!-- page end-->\r
 153 \r
 154 \r
 155 <!-- Google analitics -->\r
 156 <script type="text/javascript">\r
 157 var gaJsHost = (("https:" == document.location.protocol) ? "https://ssl." : "http://www.");\r
 158 document.write(unescape("%3Cscript src='" + gaJsHost + "google-analytics.com/ga.js' type='text/javascript'%3E%3C/script%3E"));\r
 159 </script>\r
 160 <script type="text/javascript">\r
 161 try{\r
 162 var pageTracker = _gat._getTracker("UA-5356328-1");\r
 163 pageTracker._trackPageview();\r
 164 } catch(err) {}\r
 165 </script>\r
 166 </body>\r
 167 </html>\r