JAL-4001 Added a genuine client_id (from gtag). Added /debug/mp/collect with respons...
[jalview.git] / src / jalview / analytics / GoogleAnalytics4.java
index bf6f3f3..8666e31 100644 (file)
@@ -1,7 +1,10 @@
 package jalview.analytics;
 
+import java.io.BufferedReader;
 import java.io.IOException;
+import java.io.InputStreamReader;
 import java.io.OutputStream;
+import java.io.UnsupportedEncodingException;
 import java.net.HttpURLConnection;
 import java.net.MalformedURLException;
 import java.net.URL;
@@ -10,12 +13,16 @@ import java.net.URLEncoder;
 import java.nio.charset.StandardCharsets;
 import java.util.AbstractMap;
 import java.util.ArrayList;
+import java.util.Collections;
+import java.util.HashMap;
+import java.util.Iterator;
 import java.util.List;
 import java.util.Map;
 import java.util.Random;
-import java.util.UUID;
 
+import jalview.bin.Cache;
 import jalview.bin.Console;
+import jalview.util.ChannelProperties;
 
 public class GoogleAnalytics4
 {
@@ -27,11 +34,23 @@ public class GoogleAnalytics4
 
   private static final String API_SECRET = "Qb9NSbqkRDqizG6j2BBJ2g";
 
-  // This will generate a different CLIENT_ID each time the application is
-  // launched. Do we want to store it in .jalview_properties?
-  private static final String CLIENT_ID = UUID.randomUUID().toString();
+  // Client ID must be generated from gtag.js, used and captured.
+  // Will this affect geolocation?
+  private static final String CLIENT_ID = "2092672487.1686663096";
 
-  private static final String BASE_URL = "https://www.google-analytics.com/mp/collect";
+  // set to true to use the GA4 measurement protocol validation service and
+  // print
+  // validation response.
+  // see
+  // https://developers.google.com/analytics/devguides/collection/protocol/ga4/validating-events?client_type=gtag
+  private static boolean DEBUG = false;
+
+  private static final String BASE_URL = "https://www.google-analytics.com/"
+          + (DEBUG ? "debug/" : "") + "mp/collect";
+
+  private static final String DESKTOP_EVENT = "desktop_event";
+
+  public static final String APPLICATION_BASE_URL = "https://www.jalview.org";
 
   private List<Map.Entry<String, String>> queryStringValues;
 
@@ -43,50 +62,132 @@ public class GoogleAnalytics4
 
   private static boolean ENABLED = false;
 
-  public GoogleAnalytics4()
+  private static GoogleAnalytics4 instance = null;
+
+  private static final Map<String, String> defaultParams;
+
+  static
+  {
+    defaultParams = new HashMap<>();
+    defaultParams.put("app_name",
+            ChannelProperties.getProperty("app_name") + " Desktop");
+    defaultParams.put("version", Cache.getProperty("VERSION"));
+    defaultParams.put("build_date",
+            Cache.getDefault("BUILD_DATE", "unknown"));
+    defaultParams.put("java_version", System.getProperty("java.version"));
+    String val = System.getProperty("sys.install4jVersion");
+    if (val != null)
+    {
+      defaultParams.put("install4j_version", val);
+    }
+    val = System.getProperty("installer_template_version");
+    if (val != null)
+    {
+      defaultParams.put("install4j_template_version", val);
+    }
+    val = System.getProperty("launcher_version");
+    if (val != null)
+    {
+      defaultParams.put("launcher_version", val);
+    }
+    defaultParams.put("java_arch",
+            System.getProperty("os.arch") + " "
+                    + System.getProperty("os.name") + " "
+                    + System.getProperty("os.version"));
+  }
+
+  private GoogleAnalytics4()
   {
-    this.reset();
+    this.resetLists();
   }
 
-  private static void setEnabled(boolean b)
+  public static void setEnabled(boolean b)
   {
     ENABLED = b;
   }
 
-  public void sendAnalytics()
+  public void sendAnalytics(String eventName, String... paramsStrings)
   {
-    sendAnalytics(null);
+    sendAnalytics(eventName, false, paramsStrings);
   }
 
-  public void sendAnalytics(String path)
+  /**
+   * The simplest way to send an analytic event.
+   * 
+   * @param eventName
+   *          The event name. To emulate a webpage view use "page_view" and set
+   *          a "page_location" parameter. See
+   *          https://developers.google.com/analytics/devguides/collection/ga4/events?client_type=gtag
+   * @param sendDefaultParams
+   *          Flag whether to add the default params about the application.
+   * @param paramsStrings
+   *          Optional multiple Strings in key, value pairs (there should be an
+   *          even number of paramsStrings) to be set as parameters of the
+   *          event. To emulate a webpage view use "page_location" as the URL in
+   *          a "page_view" event.
+   */
+  public void sendAnalytics(String eventName, boolean sendDefaultParams,
+          String... paramsStrings)
   {
+    // clear out old lists
+    this.resetLists();
+
     if (!ENABLED)
     {
       Console.debug("GoogleAnalytics4 not enabled.");
       return;
     }
-    if (path != null)
+    Map<String, String> params = new HashMap<>();
+    params.put("event_category", DESKTOP_EVENT);
+    params.put("event_label", eventName);
+
+    // add these to all events from this application instance
+    if (sendDefaultParams)
     {
-      addEvent("page_event", path);
+      params.putAll(defaultParams);
     }
+
+    // add (and overwrite with) the passed in params
+    if (paramsStrings != null && paramsStrings.length > 0)
+    {
+      if (paramsStrings.length % 2 != 0)
+      {
+        Console.warn(
+                "Cannot addEvent with odd number of paramsStrings.  Ignoring the last one.");
+      }
+      for (int i = 0; i < paramsStrings.length - 1; i += 2)
+      {
+        String key = paramsStrings[i];
+        String value = paramsStrings[i + 1];
+        params.put(key, value);
+      }
+    }
+
+    addEvent(eventName, params);
     addQueryStringValue("measurement_id", MEASUREMENT_ID);
     addQueryStringValue("api_secret", API_SECRET);
+    addQueryStringValue("_geo", "1");
+    addQueryStringValue("ep.anonymize_ip", "false");
     addJsonValue("client_id", CLIENT_ID);
     addJsonValues("events", Event.toObjectList(events));
-    // addJsonValue("events", )
-    StringBuilder sb = new StringBuilder();
-    sb.append(BASE_URL);
-    sb.append('?');
-    sb.append(buildQueryString());
+    StringBuilder urlSb = new StringBuilder();
+    urlSb.append(BASE_URL);
+    urlSb.append('?');
+    urlSb.append(buildQueryString());
     try
     {
-      URL url = new URL(sb.toString());
+      URL url = new URL(urlSb.toString());
       URLConnection urlConnection = url.openConnection();
       HttpURLConnection httpURLConnection = (HttpURLConnection) urlConnection;
       httpURLConnection.setRequestMethod("POST");
       httpURLConnection.setDoOutput(true);
 
-      byte[] jsonBytes = buildJson().getBytes(StandardCharsets.UTF_8);
+      String jsonString = buildJson();
+
+      Console.debug("GA4: HTTP Request is: '" + urlSb.toString() + "'");
+      Console.debug("GA4: POSTed JSON is:\n" + jsonString);
+
+      byte[] jsonBytes = jsonString.getBytes(StandardCharsets.UTF_8);
       int jsonLength = jsonBytes.length;
 
       httpURLConnection.setFixedLengthStreamingMode(jsonLength);
@@ -99,6 +200,7 @@ public class GoogleAnalytics4
       }
       int responseCode = httpURLConnection.getResponseCode();
       String responseMessage = httpURLConnection.getResponseMessage();
+
       if (responseCode < 200 || responseCode > 299)
       {
         Console.warn("GoogleAnalytics4 connection failed: '" + responseCode
@@ -109,10 +211,25 @@ public class GoogleAnalytics4
         Console.debug("GoogleAnalytics4 connection succeeded: '"
                 + responseCode + " " + responseMessage + "'");
       }
+
+      if (DEBUG)
+      {
+        BufferedReader br = new BufferedReader(new InputStreamReader(
+                (httpURLConnection.getInputStream())));
+        StringBuilder sb = new StringBuilder();
+        String response;
+        while ((response = br.readLine()) != null)
+        {
+          sb.append(response);
+        }
+        String body = sb.toString();
+        Console.debug("GoogleAnalytics4 response content; " + body);
+      }
     } catch (MalformedURLException e)
     {
       Console.debug(
-              "Somehow the GoogleAnalytics4 BASE_URL and queryString is malformed.",
+              "Somehow the GoogleAnalytics4 BASE_URL and queryString is malformed: '"
+                      + urlSb.toString() + "'",
               e);
       return;
     } catch (IOException e)
@@ -127,20 +244,16 @@ public class GoogleAnalytics4
     }
   }
 
-  public void addEvent(String name, String... paramsStrings)
+  public void addEvent(String name, Map<String, String> params)
   {
-    if (paramsStrings.length % 2 != 0)
-    {
-      Console.error(
-              "Cannot addEvent with odd number of paramsStrings.  Ignoring.");
-      return;
-    }
     Event event = new Event(name);
-    for (int i = 0; i < paramsStrings.length - 1; i += 2)
+    if (params != null && params.size() > 0)
     {
-      String key = paramsStrings[i];
-      String value = paramsStrings[i + 1];
-      event.addParam(key, value);
+      for (String key : params.keySet())
+      {
+        String value = params.get(key);
+        event.addParam(key, value);
+      }
     }
     events.add(event);
   }
@@ -181,7 +294,7 @@ public class GoogleAnalytics4
     cookieValues.add(stringEntry(key, value));
   }
 
-  public void reset()
+  private void resetLists()
   {
     jsonObject = new ArrayList<>();
     events = new ArrayList<Event>();
@@ -189,6 +302,20 @@ public class GoogleAnalytics4
     cookieValues = new ArrayList<>();
   }
 
+  public static GoogleAnalytics4 getInstance()
+  {
+    if (instance == null)
+    {
+      instance = new GoogleAnalytics4();
+    }
+    return instance;
+  }
+
+  public static void reset()
+  {
+    getInstance().resetLists();
+  }
+
   private String buildQueryString()
   {
     StringBuilder sb = new StringBuilder();
@@ -198,10 +325,21 @@ public class GoogleAnalytics4
       {
         sb.append('&');
       }
-      sb.append(URLEncoder.encode(entry.getKey(), StandardCharsets.UTF_8));
+      try
+      {
+        sb.append(URLEncoder.encode(entry.getKey(), "UTF-8"));
+      } catch (UnsupportedEncodingException e)
+      {
+        sb.append(entry.getKey());
+      }
       sb.append('=');
-      sb.append(
-              URLEncoder.encode(entry.getValue(), StandardCharsets.UTF_8));
+      try
+      {
+        sb.append(URLEncoder.encode(entry.getValue(), "UTF-8"));
+      } catch (UnsupportedEncodingException e)
+      {
+        sb.append(entry.getValue());
+      }
     }
     return sb.toString();
   }
@@ -222,23 +360,31 @@ public class GoogleAnalytics4
           List<Map.Entry<String, Object>> entries)
   {
     indent(sb, indent);
-    sb.append("{\n");
-    for (Map.Entry<String, Object> entry : entries)
+    sb.append('{');
+    newline(sb);
+    Iterator<Map.Entry<String, Object>> entriesI = entries.iterator();
+    while (entriesI.hasNext())
     {
+      Map.Entry<String, Object> entry = entriesI.next();
       String key = entry.getKey();
       // TODO sensibly escape " characters in key
       Object value = entry.getValue();
-      indent(sb, indent);
-      sb.append('"').append(key).append('"');
-      sb.append(": ");
-      if (List.class.equals(value.getClass()))
+      indent(sb, indent + 1);
+      sb.append('"').append(quoteEscape(key)).append('"').append(':');
+      space(sb);
+      if (value != null && value instanceof List)
+      {
+        newline(sb);
+      }
+      addJsonValue(sb, indent + 2, value);
+      if (entriesI.hasNext())
       {
-        sb.append('\n');
+        sb.append(',');
       }
-      addJsonValue(sb, indent + 1, value);
-      sb.append(",\n");
+      newline(sb);
     }
-    sb.append("}\n");
+    indent(sb, indent);
+    sb.append('}');
   }
 
   private void addJsonValue(StringBuilder sb, int indent, Object value)
@@ -249,66 +395,109 @@ public class GoogleAnalytics4
     }
     try
     {
-      Class<? extends Object> c = value.getClass();
-      if (Map.Entry.class.equals(c))
+      if (value instanceof Map.Entry)
       {
         Map.Entry<String, Object> entry = (Map.Entry<String, Object>) value;
         List<Map.Entry<String, Object>> object = new ArrayList<>();
         object.add(entry);
-        addJsonObject(sb, indent + 1, object);
+        addJsonObject(sb, indent, object);
       }
-      else if (List.class.equals(c))
+      else if (value instanceof List)
       {
         // list of Map.Entries or list of values?
         List<Object> valueList = (List<Object>) value;
-        if (valueList.size() > 0
-                && Map.Entry.class.equals(valueList.get(0).getClass()))
+        if (valueList.size() > 0 && valueList.get(0) instanceof Map.Entry)
         {
           // entries
-          indent(sb, indent);
+          // indent(sb, indent);
           List<Map.Entry<String, Object>> entryList = (List<Map.Entry<String, Object>>) value;
-          addJsonObject(sb, indent + 1, entryList);
+          addJsonObject(sb, indent, entryList);
         }
         else
         {
           // values
           indent(sb, indent);
-          sb.append("[\n");
-          for (Object v : valueList)
+          sb.append('[');
+          newline(sb);
+          Iterator<Object> valueListI = valueList.iterator();
+          while (valueListI.hasNext())
           {
-            indent(sb, indent + 1);
+            Object v = valueListI.next();
             addJsonValue(sb, indent + 1, v);
-            sb.append(",\n");
+            if (valueListI.hasNext())
+            {
+              sb.append(',');
+            }
+            newline(sb);
           }
           indent(sb, indent);
           sb.append("]");
         }
       }
-      else if (String.class.equals(c))
+      else if (value instanceof String)
       {
-        sb.append('"');
-        sb.append((String) value);
-        sb.append('"');
+        sb.append('"').append(quoteEscape((String) value)).append('"');
       }
-      else if (Integer.class.equals(c))
+      else if (value instanceof Integer)
       {
         sb.append(((Integer) value).toString());
       }
-      else if (Boolean.class.equals(c))
+      else if (value instanceof Boolean)
       {
-        sb.append(((Boolean) value).toString());
+        sb.append('"').append(((Boolean) value).toString()).append('"');
       }
     } catch (ClassCastException e)
     {
       Console.debug(
-              "Could not deal with type of jsonObject " + value.toString(),
+              "Could not deal with type of json Object " + value.toString(),
               e);
     }
   }
 
-  private void indent(StringBuilder sb, int indent)
+  private static String quoteEscape(String s)
+  {
+    if (s == null)
+    {
+      return null;
+    }
+    // this escapes quotation marks (") that aren't already escaped (in the
+    // string) ready to go into a quoted JSON string value
+    return s.replaceAll("((?<!\\\\)(?:\\\\{2})*)\"", "$1\\\\\"");
+  }
+
+  private static void prettyWhitespace(StringBuilder sb, String whitespace,
+          int repeat)
+  {
+    // only add whitespace if we're in DEBUG mode
+    if (!Console.getLogger().isDebugEnabled())
+    {
+      return;
+    }
+    if (repeat >= 0 && whitespace != null)
+    {
+      // sb.append(whitespace.repeat(repeat));
+      sb.append(String.join("", Collections.nCopies(repeat, whitespace)));
+
+    }
+    else
+    {
+      sb.append(whitespace);
+    }
+  }
+
+  private static void indent(StringBuilder sb, int indent)
+  {
+    prettyWhitespace(sb, "  ", indent);
+  }
+
+  private static void newline(StringBuilder sb)
+  {
+    prettyWhitespace(sb, "\n", -1);
+  }
+
+  private static void space(StringBuilder sb)
   {
-    sb.append("  ".repeat(indent));
+    prettyWhitespace(sb, " ", -1);
   }
 
   protected static Map.Entry<String, Object> objectEntry(String s, Object o)