JAL-2253 safer simpler resolution of identifiers using lookup endpoint;
[jalview.git] / src / jalview / ext / ensembl / EnsemblRestClient.java
index 5903f69..7752e9c 100644 (file)
@@ -20,6 +20,7 @@
  */
 package jalview.ext.ensembl;
 
+import jalview.io.DataSourceType;
 import jalview.io.FileParse;
 import jalview.util.StringUtils;
 
@@ -41,8 +42,6 @@ import org.json.simple.JSONArray;
 import org.json.simple.JSONObject;
 import org.json.simple.parser.JSONParser;
 
-import com.stevesoft.pat.Regex;
-
 /**
  * Base class for Ensembl REST service clients
  * 
@@ -56,13 +55,13 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
 
   /*
    * update these constants when Jalview has been checked / updated for
-   * changes to Ensembl REST API
+   * changes to Ensembl REST API (ref JAL-2105)
    * @see https://github.com/Ensembl/ensembl-rest/wiki/Change-log
    * @see http://rest.ensembl.org/info/rest?content-type=application/json
    */
-  private static final String LATEST_ENSEMBLGENOMES_REST_VERSION = "4.6";
+  private static final String LATEST_ENSEMBLGENOMES_REST_VERSION = "5.0";
 
-  private static final String LATEST_ENSEMBL_REST_VERSION = "4.7";
+  private static final String LATEST_ENSEMBL_REST_VERSION = "5.0";
 
   private static final String REST_CHANGE_LOG = "https://github.com/Ensembl/ensembl-rest/wiki/Change-log";
 
@@ -75,17 +74,11 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
 
   private final static long VERSION_RETEST_INTERVAL = 1000L * 3600; // 1 hr
 
-  private static final Regex TRANSCRIPT_REGEX = new Regex(
-          "(ENS)([A-Z]{3}|)T[0-9]{11}$");
-
-  private static final Regex GENE_REGEX = new Regex(
-          "(ENS)([A-Z]{3}|)G[0-9]{11}$");
-
   static
   {
     domainData = new HashMap<String, EnsemblInfo>();
-    domainData.put(ENSEMBL_REST, new EnsemblInfo(ENSEMBL_REST,
-            LATEST_ENSEMBL_REST_VERSION));
+    domainData.put(ENSEMBL_REST,
+            new EnsemblInfo(ENSEMBL_REST, LATEST_ENSEMBL_REST_VERSION));
     domainData.put(ENSEMBL_GENOMES_REST, new EnsemblInfo(
             ENSEMBL_GENOMES_REST, LATEST_ENSEMBLGENOMES_REST_VERSION));
   }
@@ -110,30 +103,6 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
     setDomain(d);
   }
 
-  /**
-   * Answers true if the query matches the regular expression pattern for an
-   * Ensembl transcript stable identifier
-   * 
-   * @param query
-   * @return
-   */
-  public boolean isTranscriptIdentifier(String query)
-  {
-    return query == null ? false : TRANSCRIPT_REGEX.search(query);
-  }
-
-  /**
-   * Answers true if the query matches the regular expression pattern for an
-   * Ensembl gene stable identifier
-   * 
-   * @param query
-   * @return
-   */
-  public boolean isGeneIdentifier(String query)
-  {
-    return query == null ? false : GENE_REGEX.search(query);
-  }
-
   @Override
   public boolean queryInProgress()
   {
@@ -195,22 +164,27 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
     {
       // note this format works for both ensembl and ensemblgenomes
       // info/ping.json works for ensembl only (March 2016)
-      URL ping = new URL(getDomain()
-              + "/info/ping?content-type=application/json");
+      URL ping = new URL(
+              getDomain() + "/info/ping?content-type=application/json");
 
       /*
        * expect {"ping":1} if ok
        * if ping takes more than 2 seconds to respond, treat as if unavailable
        */
       br = getHttpResponse(ping, null, 2 * 1000);
+      if (br == null)
+      {
+        // error reponse status
+        return false;
+      }
       JSONParser jp = new JSONParser();
       JSONObject val = (JSONObject) jp.parse(br);
       String pingString = val.get("ping").toString();
       return pingString != null;
     } catch (Throwable t)
     {
-      System.err.println("Error connecting to " + PING_URL + ": "
-              + t.getMessage());
+      System.err.println(
+              "Error connecting to " + PING_URL + ": " + t.getMessage());
     } finally
     {
       if (br != null)
@@ -234,8 +208,7 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
    * @return
    * @throws IOException
    */
-  protected FileParse getSequenceReader(List<String> ids)
-          throws IOException
+  protected FileParse getSequenceReader(List<String> ids) throws IOException
   {
     URL url = getUrl(ids);
 
@@ -245,7 +218,8 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
       // request failed
       return null;
     }
-    FileParse fp = new FileParse(reader, url.toString(), "HTTP_POST");
+    FileParse fp = new FileParse(reader, url.toString(),
+            DataSourceType.URL);
     return fp;
   }
 
@@ -287,8 +261,8 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
      * sequence queries, but not for overlap
      */
     boolean multipleIds = ids != null && ids.size() > 1;
-    connection.setRequestMethod(multipleIds ? HttpMethod.POST
-            : HttpMethod.GET);
+    connection.setRequestMethod(
+            multipleIds ? HttpMethod.POST : HttpMethod.GET);
     connection.setRequestProperty("Content-Type",
             getRequestMimeType(multipleIds));
     connection.setRequestProperty("Accept", getResponseMimeType());
@@ -339,13 +313,13 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
   void checkRateLimits(HttpURLConnection connection)
   {
     // number of requests allowed per time interval:
-    String limit = connection.getHeaderField("X-RateLimit-Limit");
+    // String limit = connection.getHeaderField("X-RateLimit-Limit");
     // length of quota time interval in seconds:
     // String period = connection.getHeaderField("X-RateLimit-Period");
     // seconds remaining until usage quota is reset:
-    String reset = connection.getHeaderField("X-RateLimit-Reset");
+    // String reset = connection.getHeaderField("X-RateLimit-Reset");
     // number of requests remaining from quota for current period:
-    String remaining = connection.getHeaderField("X-RateLimit-Remaining");
+    // String remaining = connection.getHeaderField("X-RateLimit-Remaining");
     // number of seconds to wait before retrying (if remaining == 0)
     String retryDelay = connection.getHeaderField("Retry-After");
 
@@ -363,8 +337,8 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
                 + (1000 * Integer.valueOf(retryDelay));
       } catch (NumberFormatException e)
       {
-        System.err.println("Unexpected value for Retry-After: "
-                + retryDelay);
+        System.err
+                .println("Unexpected value for Retry-After: " + retryDelay);
       }
     }
     else
@@ -408,7 +382,8 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
     /*
      * recheck if Ensembl is up if it was down, or the recheck period has elapsed
      */
-    boolean retestAvailability = (now - info.lastAvailableCheckTime) > AVAILABILITY_RETEST_INTERVAL;
+    boolean retestAvailability = (now
+            - info.lastAvailableCheckTime) > AVAILABILITY_RETEST_INTERVAL;
     if (!info.restAvailable || retestAvailability)
     {
       info.restAvailable = checkEnsembl();
@@ -418,7 +393,8 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
     /*
      * refetch Ensembl versions if the recheck period has elapsed
      */
-    boolean refetchVersion = (now - info.lastVersionCheckTime) > VERSION_RETEST_INTERVAL;
+    boolean refetchVersion = (now
+            - info.lastVersionCheckTime) > VERSION_RETEST_INTERVAL;
     if (refetchVersion)
     {
       checkEnsemblRestVersion();
@@ -459,7 +435,8 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
     byte[] thepostbody = postBody.toString().getBytes();
     connection.setRequestProperty("Content-Length",
             Integer.toString(thepostbody.length));
-    DataOutputStream wr = new DataOutputStream(connection.getOutputStream());
+    DataOutputStream wr = new DataOutputStream(
+            connection.getOutputStream());
     wr.write(thepostbody);
     wr.flush();
     wr.close();
@@ -478,9 +455,13 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
     URL url = null;
     try
     {
-      url = new URL(getDomain()
-              + "/info/rest?content-type=application/json");
+      url = new URL(
+              getDomain() + "/info/rest?content-type=application/json");
       BufferedReader br = getHttpResponse(url, null);
+      if (br == null)
+      {
+        return;
+      }
       JSONObject val = (JSONObject) jp.parse(br);
       String version = val.get("release").toString();
       String majorVersion = version.substring(0, version.indexOf("."));
@@ -509,18 +490,19 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
        * if so warn; we don't worry if it is earlier (this indicates Jalview has
        * been tested in advance against the next pending REST version)
        */
-      boolean laterVersion = StringUtils.compareVersions(version, expected) == 1;
+      boolean laterVersion = StringUtils.compareVersions(version,
+              expected) == 1;
       if (laterVersion)
       {
         System.err.println(String.format(
-                "Expected %s REST version %s but found %s, see %s",
+                "EnsemblRestClient expected %s REST version %s but found %s, see %s",
                 getDbSource(), expected, version, REST_CHANGE_LOG));
       }
       info.restVersion = version;
     } catch (Throwable t)
     {
-      System.err.println("Error checking Ensembl REST version: "
-              + t.getMessage());
+      System.err.println(
+              "Error checking Ensembl REST version: " + t.getMessage());
     }
   }
 
@@ -540,16 +522,20 @@ abstract class EnsemblRestClient extends EnsemblSequenceFetcher
     URL url = null;
     try
     {
-      url = new URL(getDomain()
-              + "/info/data?content-type=application/json");
+      url = new URL(
+              getDomain() + "/info/data?content-type=application/json");
       BufferedReader br = getHttpResponse(url, null);
-      JSONObject val = (JSONObject) jp.parse(br);
-      JSONArray versions = (JSONArray) val.get("releases");
-      domainData.get(getDomain()).dataVersion = versions.get(0).toString();
+      if (br != null)
+      {
+        JSONObject val = (JSONObject) jp.parse(br);
+        JSONArray versions = (JSONArray) val.get("releases");
+        domainData.get(getDomain()).dataVersion = versions.get(0)
+                .toString();
+      }
     } catch (Throwable t)
     {
-      System.err.println("Error checking Ensembl data version: "
-              + t.getMessage());
+      System.err.println(
+              "Error checking Ensembl data version: " + t.getMessage());
     }
   }