Merge branch 'Jalview-JS/develop' into merge/Ben_trying_out_JSdevelop_with_develop
[jalview.git] / build.gradle
index ed026ef..0117ffc 100644 (file)
@@ -2,6 +2,7 @@ import org.apache.tools.ant.filters.ReplaceTokens
 import org.gradle.internal.os.OperatingSystem
 import org.gradle.plugins.ide.eclipse.model.Output
 import org.gradle.plugins.ide.eclipse.model.Library
+import java.security.MessageDigest
 
 import groovy.transform.ExternalizeMethods
 
@@ -42,6 +43,7 @@ def string(Object o) {
 
 ext {
   jalviewDirAbsolutePath = file(jalviewDir).getAbsolutePath()
+  jalviewDirRelativePath = jalviewDir
 
   // local build environment properties
   def localProps = "${jalviewDirAbsolutePath}/local.properties"
@@ -64,35 +66,53 @@ ext {
     }
   }
 
-
   // this property set when running Eclipse headlessly
   j2sHeadlessBuildProperty = string("net.sf.j2s.core.headlessbuild")
   // this property set by Eclipse
   eclipseApplicationProperty = string("eclipse.application")
-  // CHECK IF IN ECLIPSE
-  IN_ECLIPSE = System.properties[eclipseApplicationProperty].startsWith("org.eclipse.ui.")
-  if (System.properties[j2sHeadlessBuildProperty].equals("true")) { // headless build property has been set
+  // CHECK IF RUNNING FROM WITHIN ECLIPSE
+  def eclipseApplicationPropertyVal = System.properties[eclipseApplicationProperty]
+  IN_ECLIPSE = eclipseApplicationPropertyVal != null && eclipseApplicationPropertyVal.startsWith("org.eclipse.ui.")
+  // BUT WITHOUT THE HEADLESS BUILD PROPERTY SET
+  if (System.properties[j2sHeadlessBuildProperty].equals("true")) {
     println("Setting IN_ECLIPSE to ${IN_ECLIPSE} as System.properties['${j2sHeadlessBuildProperty}'] == '${System.properties[j2sHeadlessBuildProperty]}'")
     IN_ECLIPSE = false
   }
-  /*
+  if (IN_ECLIPSE) {
+    println("WITHIN ECLIPSE IDE")
+  } else {
+    println("HEADLESS BUILD")
+  }
+  /* *-/
   System.properties.sort { it.key }.each {
     key, val -> println("SYSTEM PROPERTY ${key}='${val}'")
   }
+  /-* *-/
+  if (false && IN_ECLIPSE) {
+    jalviewDir = jalviewDirAbsolutePath
+  }
   */
 
-  mainClassName = string(launcherClass)
+  // essentials
+  bareSourceDir = string(source_dir)
+  sourceDir = string("${jalviewDir}/${bareSourceDir}")
+  resourceDir = string("${jalviewDir}/${resource_dir}")
+  bareTestSourceDir = string(test_source_dir)
+  testSourceDir = string("${jalviewDir}/${bareTestSourceDir}")
 
+  // clover
   cloverInstrDir = file("${buildDir}/${cloverSourcesInstrDir}")
-  classes = string("${jalviewDir}/${classesDir}")
+  classesDir = string("${jalviewDir}/${classes_dir}")
   if (clover.equals("true")) {
     use_clover = true
-    classes = string("${buildDir}/${cloverClassesDir}")
+    classesDir = string("${buildDir}/${cloverClassesDir}")
   } else {
     use_clover = false
-    classes = string("${jalviewDir}/${classesDir}")
+    classesDir = string("${jalviewDir}/${classes_dir}")
   }
 
+  classes = classesDir
+
   getdownWebsiteDir = string("${jalviewDir}/${getdown_website_dir}/${JAVA_VERSION}")
   getdownDir = string("")
   reportRsyncCmd = false
@@ -107,7 +127,7 @@ ext {
     getdown_channel_name = string("${bamboo_planKey}/${JAVA_VERSION}")
     getdown_app_base = string("${bamboo_channelbase}/${bamboo_planKey}${bamboo_getdown_channel_suffix}/${JAVA_VERSION}")
     getdown_app_dir = getdown_app_dir_alt
-    buildProperties = string("${jalviewDir}/${classesDir}/${build_properties_file}")
+    buildProperties = string("${classesDir}/${build_properties_file}")
     break
 
     case "RELEASE":
@@ -115,7 +135,7 @@ ext {
     getdownDir = string("${getdown_channel_name}/${JAVA_VERSION}")
     getdown_app_base = string("${getdown_channel_base}/${getdownDir}")
     getdown_app_dir = getdown_app_dir_release
-    buildProperties = string("${jalviewDir}/${classesDir}/${build_properties_file}")
+    buildProperties = string("${classesDir}/${build_properties_file}")
     reportRsyncCommand = true
     break
 
@@ -129,7 +149,7 @@ ext {
       exit
     } else {
       packageDir = string("${ARCHIVEDIR}/${packageDir}")
-      buildProperties = string("${ARCHIVEDIR}/${classesDir}/${build_properties_file}")
+      buildProperties = string("${ARCHIVEDIR}/${classes_dir}/${build_properties_file}")
       buildDist = false
     }
     reportRsyncCommand = true
@@ -145,7 +165,7 @@ ext {
       exit
     } else {
       packageDir = string("${ARCHIVEDIR}/${packageDir}")
-      buildProperties = string("${ARCHIVEDIR}/${classesDir}/${build_properties_file}")
+      buildProperties = string("${ARCHIVEDIR}/${classes_dir}/${build_properties_file}")
       buildDist = false
     }
     reportRsyncCommand = true
@@ -157,7 +177,7 @@ ext {
     getdownDir = string("${getdown_channel_name}/${JAVA_VERSION}")
     getdown_app_base = string("${getdown_channel_base}/${getdownDir}")
     getdown_app_dir = getdown_app_dir_alt
-    buildProperties = string("${jalviewDir}/${classesDir}/${build_properties_file}")
+    buildProperties = string("${classesDir}/${build_properties_file}")
     reportRsyncCommand = true
     break
 
@@ -166,7 +186,7 @@ ext {
     getdownDir = string("${getdown_channel_name}/${JAVA_VERSION}")
     getdown_app_base = string("${getdown_channel_base}/${getdownDir}")
     getdown_app_dir = getdown_app_dir_alt
-    buildProperties = string("${jalviewDir}/${classesDir}/${build_properties_file}")
+    buildProperties = string("${classesDir}/${build_properties_file}")
     reportRsyncCommand = true
     break
 
@@ -175,14 +195,14 @@ ext {
     getdownDir = string("${getdown_channel_name}/${JAVA_VERSION}")
     getdown_app_base = string("${getdown_channel_base}/${getdownDir}")
     getdown_app_dir = getdown_app_dir_alt
-    buildProperties = string("${jalviewDir}/${classesDir}/${build_properties_file}")
+    buildProperties = string("${classesDir}/${build_properties_file}")
     reportRsyncCommand = true
     break
 
     case "LOCAL":
     getdown_app_base = file(getdownWebsiteDir).toURI().toString()
     getdown_app_dir = getdown_app_dir_alt
-    buildProperties = string("${jalviewDir}/${classesDir}/${build_properties_file}")
+    buildProperties = string("${classesDir}/${build_properties_file}")
     getdownLauncher = string("${jalviewDir}/${getdown_lib_dir}/${getdown_launcher_local}")
     break
 
@@ -272,18 +292,29 @@ ext {
 
 
   buildingHTML = string("${jalviewDir}/${docDir}/building.html")
-  helpFile = string("${classes}/${helpDir}/help.jhm")
+  helpFile = string("${classesDir}/${help_dir}/help.jhm")
+  helpParentDir = string("${jalviewDir}/${help_parent_dir}")
+  helpDir = string("${help_dir}")
+  helpSourceDir = string("${helpParentDir}/${helpDir}")
 
 
   relativeBuildDir = file(jalviewDirAbsolutePath).toPath().relativize(buildDir.toPath())
   jalviewjsBuildDir = string("${relativeBuildDir}/jalviewjs")
   jalviewjsSiteDir = string("${jalviewjsBuildDir}/${jalviewjs_site_dir}")
-  jalviewjsTransferSiteJsDir = string("${jalviewjsBuildDir}/tmp/${jalviewjs_site_dir}_js")
+  if (IN_ECLIPSE) {
+    jalviewjsTransferSiteJsDir = string(jalviewjsSiteDir)
+  } else {
+    jalviewjsTransferSiteJsDir = string("${jalviewjsBuildDir}/tmp/${jalviewjs_site_dir}_js")
+  }
   jalviewjsTransferSiteLibDir = string("${jalviewjsBuildDir}/tmp/${jalviewjs_site_dir}_lib")
   jalviewjsTransferSiteSwingJsDir = string("${jalviewjsBuildDir}/tmp/${jalviewjs_site_dir}_swingjs")
   jalviewjsTransferSiteCoreDir = string("${jalviewjsBuildDir}/tmp/${jalviewjs_site_dir}_core")
-  jalviewjsJalviewCoreName = jalviewjs_core_name
+  jalviewjsJalviewCoreHtmlFile = string("")
+  jalviewjsJalviewCoreName = string(jalviewjs_core_name)
+  jalviewjsCoreClasslists = []
   jalviewjsJalviewTemplateName = string(jalviewjs_name)
+  jalviewjsJ2sSettingsFileName = string("${jalviewDir}/${jalviewjs_j2s_settings}")
+  jalviewjsJ2sProps = null
 
   eclipseWorkspace = null
   eclipseBinary = string("")
@@ -296,12 +327,12 @@ ext {
 sourceSets {
   main {
     java {
-      srcDirs "${jalviewDir}/${sourceDir}"
-      outputDir = file(project.classes)
+      srcDirs sourceDir
+      outputDir = file(classesDir)
     }
 
     resources {
-      srcDirs "${jalviewDir}/${resourceDir}"
+      srcDirs resourceDir
     }
 
     jar.destinationDir = file("${jalviewDir}/${packageDir}")
@@ -332,7 +363,7 @@ sourceSets {
 
   test {
     java {
-      srcDirs "${jalviewDir}/${testSourceDir}"
+      srcDirs testSourceDir
       outputDir = file("${jalviewDir}/${testOutputDir}")
     }
 
@@ -400,21 +431,23 @@ eclipse {
         def removeTheseToo = []
         HashMap<String, Boolean> alreadyAddedSrcPath = new HashMap<>();
         cp.entries.each { entry ->
+          // This conditional removes all src classpathentries that a) have already been added or b) aren't "src" or "test".
+          // e.g. this removes the resources dir being copied into bin/main, bin/test AND bin/clover
+          // we add the resources and help/help dirs in as libs afterwards (see below)
           if (entry.kind == 'src') {
-            if (alreadyAddedSrcPath.getAt(entry.path) || !(entry.path == sourceDir || entry.path == testSourceDir)) {
+            if (alreadyAddedSrcPath.getAt(entry.path) || !(entry.path == bareSourceDir || entry.path == bareTestSourceDir)) {
               removeTheseToo += entry
             } else {
               alreadyAddedSrcPath.putAt(entry.path, true)
             }
           }
+
         }
         cp.entries.removeAll(removeTheseToo)
 
-        if (file("${jalviewDir}/${eclipse_bin_dir}/main").isDirectory()) {
-          cp.entries += new Output("${eclipse_bin_dir}/main")
-        }
-        if (file(helpParentDir).isDirectory()) {
-          cp.entries += new Library(fileReference(helpParentDir))
+        //cp.entries += new Output("${eclipse_bin_dir}/main")
+        if (file(helpSourceDir).isDirectory()) {
+          cp.entries += new Library(fileReference(helpSourceDir))
         }
         if (file(resourceDir).isDirectory()) {
           cp.entries += new Library(fileReference(resourceDir))
@@ -425,8 +458,8 @@ eclipse {
         sourceSets.main.compileClasspath.findAll { it.name.endsWith(".jar") }.each {
           //don't want to add outputDir as eclipse is using its own output dir in bin/main
           if (it.isDirectory() || ! it.exists()) {
-            // don't add dirs to classpath
-            return
+            // don't add dirs to classpath, especially if they don't exist
+            return false // groovy "continue" in .any closure
           }
           def itPath = it.toString()
           if (itPath.startsWith("${jalviewDirAbsolutePath}/")) {
@@ -495,14 +528,18 @@ eclipse {
 
   } // jdt
 
-  synchronizationTasks "eclipseSynchronizationTask"
-  autoBuildTasks "eclipseAutoBuildTask"
+  if (IN_ECLIPSE) {
+    // Don't want these to be activated if in headless build
+    synchronizationTasks "eclipseSynchronizationTask"
+    autoBuildTasks "eclipseAutoBuildTask"
+
+  }
 }
 
 
 task cloverInstr() {
   // only instrument source, we build test classes as normal
-  inputs.files files (sourceSets.main.allJava) // , fileTree(dir:"$jalviewDir/$testSourceDir", include: ["**/*.java"]))
+  inputs.files files (sourceSets.main.allJava) // , fileTree(dir: testSourceDir, include: ["**/*.java"]))
   outputs.dir cloverInstrDir
 
   doFirst {
@@ -628,8 +665,8 @@ task setGitVals {
 
 task createBuildProperties(type: WriteProperties) {
   dependsOn setGitVals
-  inputs.dir("${jalviewDir}/${sourceDir}")
-  inputs.dir("${jalviewDir}/${resourceDir}")
+  inputs.dir(sourceDir)
+  inputs.dir(resourceDir)
   file(buildProperties).getParentFile().mkdirs()
   outputFile (buildProperties)
   // taking time specific comment out to allow better incremental builds
@@ -672,7 +709,7 @@ task convertBuildingMD(type: Exec) {
         commandLine pandoc, '-s', '-o', buildingHTML, '--metadata', 'pagetitle="Building Jalview from Source"', '--toc', '-H', css, buildingMD
     } else {
         println("Cannot find pandoc. Skipping convert building.md to HTML")
-        throw new StopExecutionException()
+        throw new StopExecutionException("Cannot find pandoc. Skipping convert building.md to HTML")
     }
   }
 
@@ -693,7 +730,7 @@ clean {
 
 task syncDocs(type: Sync) {
   dependsOn convertBuildingMD
-  def syncDir = "${classes}/${docDir}"
+  def syncDir = "${classesDir}/${docDir}"
   from fileTree("${jalviewDir}/${docDir}")
   into syncDir
 
@@ -701,8 +738,8 @@ task syncDocs(type: Sync) {
 
 
 task copyHelp(type: Copy) {
-  def inputDir = "${jalviewDir}/${helpParentDir}/${helpDir}"
-  def outputDir = "${classes}/${helpDir}"
+  def inputDir = helpSourceDir
+  def outputDir = "${classesDir}/${helpDir}"
   from(inputDir) {
     exclude '**/*.gif'
     exclude '**/*.jpg'
@@ -730,16 +767,16 @@ task copyHelp(type: Copy) {
 
 
 task syncLib(type: Sync) {
-  def syncDir = "${classes}/${libDistDir}"
+  def syncDir = "${classesDir}/${libDistDir}"
   from fileTree("${jalviewDir}/${libDistDir}")
   into syncDir
 }
 
 
 task syncResources(type: Sync) {
-  from "${jalviewDir}/${resourceDir}"
+  from resourceDir
   include "**/*.*"
-  into "${classes}"
+  into "${classesDir}"
   preserve {
     include "**"
   }
@@ -784,13 +821,13 @@ task buildIndices(type: JavaExec) {
   dependsOn copyHelp
   classpath = sourceSets.main.compileClasspath
   main = "com.sun.java.help.search.Indexer"
-  workingDir = "${classes}/${helpDir}"
+  workingDir = "${classesDir}/${helpDir}"
   def argDir = "html"
   args = [ argDir ]
   inputs.dir("${workingDir}/${argDir}")
 
-  outputs.dir("${classes}/doc")
-  outputs.dir("${classes}/help")
+  outputs.dir("${classesDir}/doc")
+  outputs.dir("${classesDir}/help")
   outputs.file("${workingDir}/JavaHelpSearch/DOCS")
   outputs.file("${workingDir}/JavaHelpSearch/DOCS.TAB")
   outputs.file("${workingDir}/JavaHelpSearch/OFFSETS")
@@ -820,8 +857,8 @@ task linkCheck(type: JavaExec) {
   classpath = files("${jalviewDir}/${utilsDir}")
   main = "HelpLinksChecker"
   workingDir = jalviewDir
-  def help = "${classes}/${helpDir}"
-  args = [ "${classes}/${helpDir}", "-nointernet" ]
+  def help = "${classesDir}/${helpDir}"
+  args = [ "${classesDir}/${helpDir}", "-nointernet" ]
 
   def outFOS = new FileOutputStream(helpLinksCheckerOutFile, false) // false == don't append
   def errFOS = outFOS
@@ -832,13 +869,13 @@ task linkCheck(type: JavaExec) {
     outFOS,
     errorOutput)
 
-  inputs.dir("${classes}/${helpDir}")
+  inputs.dir("${classesDir}/${helpDir}")
   outputs.file(helpLinksCheckerOutFile)
 }
 
 // import the pubhtmlhelp target
 ant.properties.basedir = "${jalviewDir}"
-ant.properties.helpBuildDir = "${jalviewDirAbsolutePath}/${classes}/${helpDir}"
+ant.properties.helpBuildDir = "${jalviewDirAbsolutePath}/${classes_dir}/${helpDir}"
 ant.importBuild "${utilsDir}/publishHelp.xml"
 
 
@@ -869,13 +906,13 @@ jar {
   exclude "**/*.jar"
   exclude "**/*.jar.*"
 
-  inputs.dir("${classes}")
+  inputs.dir(classesDir)
   outputs.file("${jalviewDir}/${packageDir}/${archiveName}")
 }
 
 
 task copyJars(type: Copy) {
-  from fileTree(dir: "${classes}", include: "**/*.jar").files
+  from fileTree(dir: classesDir, include: "**/*.jar").files
   into "${jalviewDir}/${packageDir}"
 }
 
@@ -1283,13 +1320,6 @@ task installers(type: com.install4j.gradle.Install4jTask) {
 }
 
 
-clean {
-  doFirst {
-    delete install4jConfFile
-  }
-}
-
-
 task sourceDist (type: Tar) {
   
   def VERSION_UNDERSCORES = JALVIEW_VERSION.replaceAll("\\.", "_")
@@ -1372,8 +1402,8 @@ task helppages  {
   dependsOn copyHelp
   dependsOn pubhtmlhelp
   
-  inputs.dir("${classes}/${helpDir}")
-  outputs.dir("${helpOutputDir}")
+  inputs.dir("${classesDir}/${helpDir}")
+  outputs.dir("${buildDir}/distributions/${helpDir}")
 }
 
 
@@ -1398,16 +1428,17 @@ task jalviewjsSetEclipseWorkspace {
   def eclipseWsDir = propVal
   def props = new Properties()
 
+  def writeProps = true
   if (( eclipseWsDir == null || !file(eclipseWsDir).exists() ) && propsFile.exists()) {
     def ins = new FileInputStream(propsFileName)
     props.load(ins)
     ins.close()
     if (props.getProperty(propKey, null) != null) {
       eclipseWsDir = props.getProperty(propKey)
+      writeProps = false
     }
   }
 
-  def writeProps = false
   if (eclipseWsDir == null || !file(eclipseWsDir).exists()) {
     def tempDir = File.createTempDir()
     eclipseWsDir = tempDir.getAbsolutePath()
@@ -1431,6 +1462,9 @@ task jalviewjsSetEclipseWorkspace {
       props.store(bytes, null)
       def propertiesString = bytes.toString()
       propsFile.text = propertiesString
+      print("NEW ")
+    } else {
+      print("EXISTING ")
     }
 
     println("ECLIPSE WORKSPACE: "+eclipseWorkspace.getPath())
@@ -1438,7 +1472,7 @@ task jalviewjsSetEclipseWorkspace {
 
   //inputs.property(propKey, eclipseWsDir) // eclipseWsDir only gets set once this task runs, so will be out-of-date
   outputs.file(propsFileName)
-  outputs.upToDateWhen { eclipseWorkspace.exists() }
+  outputs.upToDateWhen { eclipseWorkspace.exists() && propsFile.exists() }
 }
 
 
@@ -1584,11 +1618,10 @@ task jalviewjsCreateJ2sSettings(type: WriteProperties) {
   group "JalviewJS"
   description "Create the .j2s file from the j2s.* properties"
 
-  outputFile ("${jalviewDir}/${jalviewjs_j2s_settings}")
-  def j2s_props = project.properties.findAll { it.key.startsWith("j2s.") }.sort { it.key }
+  jalviewjsJ2sProps = project.properties.findAll { it.key.startsWith("j2s.") }.sort { it.key }
   def siteDirProperty = "j2s.site.directory"
   def setSiteDir = false
-  j2s_props.each { prop, val ->
+  jalviewjsJ2sProps.each { prop, val ->
     if (val != null) {
       if (prop == siteDirProperty) {
         if (!(val.startsWith('/') || val.startsWith("file://") )) {
@@ -1599,11 +1632,15 @@ task jalviewjsCreateJ2sSettings(type: WriteProperties) {
       property(prop,val)
     }
     if (!setSiteDir) { // default site location, don't override specifically set property
-      property(siteDirProperty,"${jalviewDir}/${jalviewjsTransferSiteJsDir}")
+      property(siteDirProperty,"${jalviewDirRelativePath}/${jalviewjsTransferSiteJsDir}")
     }
   }
-  inputs.properties(j2s_props)
-  outputs.file(outputFile)
+  outputFile = jalviewjsJ2sSettingsFileName
+
+  if (! IN_ECLIPSE) {
+    inputs.properties(jalviewjsJ2sProps)
+    outputs.file(jalviewjsJ2sSettingsFileName)
+  }
 }
 
 
@@ -1636,7 +1673,7 @@ task jalviewjsSyncAllLibs (type: Sync) {
 
 
 task jalviewjsSyncResources (type: Sync) {
-  def inputFiles = fileTree(dir: "${jalviewDir}/${resourceDir}")
+  def inputFiles = fileTree(dir: resourceDir)
   def outputDir = "${jalviewDir}/${jalviewjsSiteDir}/${jalviewjs_j2s_subdir}"
 
   from inputFiles
@@ -1748,6 +1785,9 @@ task jalviewjsTranspile(type: Exec) {
     args += "-debug"
   }
   args += [ "--launcher.appendVmargs", "-vmargs", "-Dorg.eclipse.equinox.p2.reconciler.dropins.directory=${jalviewDirAbsolutePath}/${jalviewjsBuildDir}/${jalviewjs_eclipse_tmp_dropins_dir}" ]
+  if (!IN_ECLIPSE) {
+    args += [ "-D${j2sHeadlessBuildProperty}=true" ]
+  }
 
   def stdout
   def stderr
@@ -1804,14 +1844,14 @@ DEBUG: ${eclipseDebug}
 }
 
 
-def jalviewjsCallCore(FileCollection list, String prefixFile, String suffixFile, String jsfile, String zjsfile, File logOutFile, Boolean logOutConsole) {
+def jalviewjsCallCore(String name, FileCollection list, String prefixFile, String suffixFile, String jsfile, String zjsfile, File logOutFile, Boolean logOutConsole) {
 
   def stdout = new ByteArrayOutputStream()
   def stderr = new ByteArrayOutputStream()
 
   def coreFile = file(jsfile)
   def msg = ""
-  msg = "Generating ${jsfile}"
+  msg = "Creating core for ${name}...\nGenerating ${jsfile}"
   println(msg)
   logOutFile.createNewFile()
   logOutFile.append(msg+"\n")
@@ -1825,8 +1865,7 @@ def jalviewjsCallCore(FileCollection list, String prefixFile, String suffixFile,
     f ->
     if (f.exists()) {
       def t = f.text
-      t.replaceAll("Clazz\\.","Clazz_")
-      t.replaceAll("Class__","Clazz._")
+      t.replaceAll("Clazz\\.([^_])","Clazz_${1}")
       coreFile.append( t )
     } else {
       msg = "...file '"+f.getPath()+"' does not exist, skipping"
@@ -1845,6 +1884,7 @@ def jalviewjsCallCore(FileCollection list, String prefixFile, String suffixFile,
   javaexec {
     classpath = files(["${jalviewDir}/tools/closure_compiler.jar"])
     args = [ "--js", jsfile, "--js_output_file", zjsfile ]
+    maxHeapSize = "2g"
 
     msg = "\nRunning '"+commandLine.join(' ')+"'\n"
     println(msg)
@@ -1876,10 +1916,15 @@ def jalviewjsCallCore(FileCollection list, String prefixFile, String suffixFile,
 }
 
 
-task jalviewjsNoTranspileBuildAllCores {
+task jalviewjsBuildAllCores {
+  group "JalviewJS"
+  description "Build the core js lib closures listed in the classlists dir"
+  dependsOn jalviewjsTranspile
   dependsOn jalviewjsTransferUnzipSwingJs
 
   def j2sDir = "${jalviewDir}/${jalviewjsTransferSiteJsDir}/${jalviewjs_j2s_subdir}"
+  def swingJ2sDir = "${jalviewDir}/${jalviewjsTransferSiteSwingJsDir}/${jalviewjs_j2s_subdir}"
+  def libJ2sDir = "${jalviewDir}/${jalviewjsTransferSiteLibDir}/${jalviewjs_j2s_subdir}"
   def jsDir = "${jalviewDir}/${jalviewjsTransferSiteSwingJsDir}/${jalviewjs_js_subdir}"
   def outputDir = "${jalviewDir}/${jalviewjsTransferSiteCoreDir}/${jalviewjs_j2s_subdir}/core"
   def prefixFile = "${jsDir}/core/coretop2.js"
@@ -1900,10 +1945,10 @@ task jalviewjsNoTranspileBuildAllCores {
   }
 
   // _jmol and _jalview cores. Add any other peculiar classlist.txt files here
-  classlistFiles += [ 'file': file("${jalviewDir}/${jalviewjs_classlist_jmol}"), 'name': "_jvjmol" ]
+  //classlistFiles += [ 'file': file("${jalviewDir}/${jalviewjs_classlist_jmol}"), 'name': "_jvjmol" ]
   classlistFiles += [ 'file': file("${jalviewDir}/${jalviewjs_classlist_jalview}"), 'name': jalviewjsJalviewCoreName ]
 
-  def classlists = []
+  jalviewjsCoreClasslists = []
 
   classlistFiles.each {
     hash ->
@@ -1928,10 +1973,11 @@ task jalviewjsNoTranspileBuildAllCores {
     def jsfile = "${outputDir}/core${name}.js"
     def zjsfile = "${outputDir}/core${name}.z.js"
 
-    classlists += [
-    'jsfile': jsfile,
-    'zjsfile': zjsfile,
-    'list': list
+    jalviewjsCoreClasslists += [
+      'jsfile': jsfile,
+      'zjsfile': zjsfile,
+      'list': list,
+      'name': name
     ]
 
     inputs.file(file)
@@ -1941,92 +1987,117 @@ task jalviewjsNoTranspileBuildAllCores {
   }
   
   // _stevesoft core. add any cores without a classlist here (and the inputs and outputs)
+  def stevesoftClasslistName = "_stevesoft"
   def stevesoftClasslist = [
-    'jsfile': "${outputDir}/core_stevesoft.js",
-    'zjsfile': "${outputDir}/core_stevesoft.z.js",
-    'list': fileTree(dir: j2sDir, include: "com/stevesoft/pat/**/*.js")
+    'jsfile': "${outputDir}/core${stevesoftClasslistName}.js",
+    'zjsfile': "${outputDir}/core${stevesoftClasslistName}.z.js",
+    'list': fileTree(dir: j2sDir, include: "com/stevesoft/pat/**/*.js"),
+    'name': stevesoftClasslistName
   ]
-  classlists += stevesoftClasslist
+  jalviewjsCoreClasslists += stevesoftClasslist
   inputs.files(stevesoftClasslist['list'])
   outputs.file(stevesoftClasslist['jsfile'])
   outputs.file(stevesoftClasslist['zjsfile'])
 
+  // _all core
+  def allClasslistName = "_all"
+  def allJsFiles = fileTree(dir: j2sDir, include: "**/*.js")
+  allJsFiles += fileTree(
+    dir: libJ2sDir,
+    include: "**/*.js",
+    excludes: [
+      // these exlusions are files that the closure-compiler produces errors for. Should fix them
+      "**/org/jmol/jvxl/readers/IsoIntersectFileReader.js",
+      "**/org/jmol/export/JSExporter.js"
+    ]
+  )
+  allJsFiles += fileTree(
+    dir: swingJ2sDir,
+    include: "**/*.js",
+    excludes: [
+      // these exlusions are files that the closure-compiler produces errors for. Should fix them
+      "**/sun/misc/Unsafe.js",
+      "**/swingjs/jquery/jquery-editable-select.js",
+      "**/swingjs/jquery/j2sComboBox.js",
+      "**/sun/misc/FloatingDecimal.js"
+    ]
+  )
+  def allClasslist = [
+    'jsfile': "${outputDir}/core${allClasslistName}.js",
+    'zjsfile': "${outputDir}/core${allClasslistName}.z.js",
+    'list': allJsFiles,
+    'name': allClasslistName
+  ]
+  jalviewjsCoreClasslists += allClasslist
+  inputs.files(allClasslist['list'])
+  outputs.file(allClasslist['jsfile'])
+  outputs.file(allClasslist['zjsfile'])
+
   doFirst {
     def logOutFile = file("${jalviewDirAbsolutePath}/${jalviewjsBuildDir}/${jalviewjs_j2s_closure_stdout}")
     logOutFile.getParentFile().mkdirs()
     logOutFile.createNewFile()
-    logOutFile.write(getDate("yyyy-MM-dd HH:mm:ss")+" jalviewjsNoTranspileBuildAllCores\n----\n")
+    logOutFile.write(getDate("yyyy-MM-dd HH:mm:ss")+" jalviewjsBuildAllCores\n----\n")
 
-    classlists.each {
-      jalviewjsCallCore(it.list, prefixFile, suffixFile, it.jsfile, it.zjsfile, logOutFile, jalviewjs_j2s_to_console.equals("true"))
+    jalviewjsCoreClasslists.each {
+      jalviewjsCallCore(it.name, it.list, prefixFile, suffixFile, it.jsfile, it.zjsfile, logOutFile, jalviewjs_j2s_to_console.equals("true"))
     }
   }
 
 }
 
 
-jalviewjsNoTranspileBuildAllCores.mustRunAfter jalviewjsTranspile
-
-
-task jalviewjsBuildAllCores {
-  group "JalviewJS"
-  description "Build the core js lib closures listed in the classlists dir"
-  dependsOn jalviewjsTranspile
-  dependsOn jalviewjsNoTranspileBuildAllCores
+def jalviewjsPublishCoreTemplate(String coreName, String templateName, File inputFile, String outputFile) {
+  copy {
+    from inputFile
+    into file(outputFile).getParentFile()
+    rename { filename ->
+      if (filename.equals(inputFile.getName())) {
+        return file(outputFile).getName()
+      }
+      return null
+    }
+    filter(ReplaceTokens,
+      beginToken: '_',
+      endToken: '_',
+      tokens: [
+        'MAIN': '"'+mainClass+'"',
+        'CODE': "null",
+        'NAME': jalviewjsJalviewTemplateName+" [core ${coreName}]",
+        'COREKEY': jalviewjs_core_key,
+        'CORENAME': coreName
+      ]
+    )
+  }
 }
 
 
-def jalviewjsJalviewCoreHtmlFile
-task jalviewjsNoTranspilePublishCoreTemplate(type: Sync) {
-  dependsOn jalviewjsNoTranspileBuildAllCores
-
-  def inputFile = file("${jalviewDir}/${j2s_template_html}")
+task jalviewjsPublishCoreTemplates {
+  dependsOn jalviewjsBuildAllCores
+  def inputFileName = "${jalviewDir}/${j2s_coretemplate_html}"
+  def inputFile = file(inputFileName)
   def outputDir = "${jalviewDir}/${jalviewjsTransferSiteCoreDir}"
 
-  from inputFile
-  into outputDir
   def outputFiles = []
-  jalviewjsJalviewCoreHtmlFile = "${jalviewjsJalviewTemplateName}_${jalviewjsJalviewCoreName}.html"
-  rename { filename ->
-    outputFiles += "${outputDir}/${filename}"
-    if (filename.equals(inputFile.getName())) {
-      return jalviewjsJalviewCoreHtmlFile 
-    }
-    return null
-  }
-  filter(ReplaceTokens,
-    beginToken: '_',
-    endToken: '_',
-    tokens: [
-      'MAIN': '"'+mainClass+'"',
-      'CODE': "null",
-      'NAME': jalviewjsJalviewTemplateName
-    ]
-  )
-  filter(ReplaceTokens,
-    beginToken: '',
-    endToken: '',
-    tokens: [
-      'NONE': jalviewjsJalviewCoreName
-    ]
-  )
-  preserve {
-    include "**"
+  jalviewjsCoreClasslists.each { cl ->
+    def outputFile = "${outputDir}/${jalviewjsJalviewTemplateName}_${cl.name}.html"
+    cl['outputfile'] = outputFile
+    outputFiles += outputFile
   }
-  outputs.files outputFiles
-  inputs.files inputFile
-}
 
-
-task jalviewjsPublishCoreTemplate {
-  dependsOn jalviewjsTranspile
-  dependsOn jalviewjsPublishCoreTemplate
+  doFirst {
+    jalviewjsCoreClasslists.each { cl ->
+      jalviewjsPublishCoreTemplate(cl.name, jalviewjsJalviewTemplateName, inputFile, cl.outputfile)
+    }
+  }
+  inputs.file(inputFile)
+  outputs.files(outputFiles)
 }
 
 
-task jalviewjsNoTranspileSyncCore (type: Sync) {
-  dependsOn jalviewjsNoTranspileBuildAllCores
-  dependsOn jalviewjsNoTranspilePublishCoreTemplate
+task jalviewjsSyncCore (type: Sync) {
+  dependsOn jalviewjsBuildAllCores
+  dependsOn jalviewjsPublishCoreTemplates
   def inputFiles = fileTree(dir: "${jalviewDir}/${jalviewjsTransferSiteCoreDir}")
   def outputDir = "${jalviewDir}/${jalviewjsSiteDir}"
 
@@ -2045,13 +2116,6 @@ task jalviewjsNoTranspileSyncCore (type: Sync) {
 }
 
 
-task jalviewjsSyncCore (type: Sync) {
-  dependsOn jalviewjsTranspile
-  dependsOn jalviewjsNoTranspileSyncCore
-  dependsOn "jalviewjsBuildAllCores"
-}
-
-
 // this Copy version of TransferSiteJs will delete anything else in the target dir
 task jalviewjsCopyTransferSiteJs(type: Copy) {
   dependsOn jalviewjsTranspile
@@ -2061,7 +2125,7 @@ task jalviewjsCopyTransferSiteJs(type: Copy) {
 
 
 // this Sync version of TransferSite is used by buildship to keep the website automatically up to date when a file changes
-task jalviewjsNoTranspileSyncTransferSiteJs(type: Sync) {
+task jalviewjsSyncTransferSiteJs(type: Sync) {
   from "${jalviewDir}/${jalviewjsTransferSiteJsDir}"
   include "**/*.*"
   into "${jalviewDir}/${jalviewjsSiteDir}"
@@ -2070,24 +2134,16 @@ task jalviewjsNoTranspileSyncTransferSiteJs(type: Sync) {
   }
 }
 
+
 jalviewjsSyncAllLibs.mustRunAfter jalviewjsCopyTransferSiteJs
 jalviewjsSyncResources.mustRunAfter jalviewjsCopyTransferSiteJs
 jalviewjsSyncSiteResources.mustRunAfter jalviewjsCopyTransferSiteJs
 jalviewjsSyncBuildProperties.mustRunAfter jalviewjsCopyTransferSiteJs
 
-jalviewjsSyncAllLibs.mustRunAfter jalviewjsNoTranspileSyncTransferSiteJs
-jalviewjsSyncResources.mustRunAfter jalviewjsNoTranspileSyncTransferSiteJs
-jalviewjsSyncSiteResources.mustRunAfter jalviewjsNoTranspileSyncTransferSiteJs
-jalviewjsSyncBuildProperties.mustRunAfter jalviewjsNoTranspileSyncTransferSiteJs
-
-
-task jalviewjsNoTranspilePrepareSite {
-  dependsOn jalviewjsSyncAllLibs
-  dependsOn jalviewjsSyncResources
-  dependsOn jalviewjsSyncSiteResources
-  dependsOn jalviewjsSyncBuildProperties
-  dependsOn jalviewjsNoTranspileSyncCore
-}
+jalviewjsSyncAllLibs.mustRunAfter jalviewjsSyncTransferSiteJs
+jalviewjsSyncResources.mustRunAfter jalviewjsSyncTransferSiteJs
+jalviewjsSyncSiteResources.mustRunAfter jalviewjsSyncTransferSiteJs
+jalviewjsSyncBuildProperties.mustRunAfter jalviewjsSyncTransferSiteJs
 
 
 task jalviewjsPrepareSite {
@@ -2152,30 +2208,35 @@ task jalviewjsServer {
     def start = port
     def running = false
     def url
-    def urlcore
+    def jalviewjsServer
     while(port < start+1000 && !running) {
       try {
         def doc_root = new File("${jalviewDirAbsolutePath}/${jalviewjsSiteDir}")
-        def jalviewjsServer = factory.start(doc_root, port)
+        jalviewjsServer = factory.start(doc_root, port)
         running = true
         url = jalviewjsServer.getResourceUrl(jalviewjs_server_resource)
-        urlcore = jalviewjsServer.getResourceUrl(jalviewjsJalviewCoreHtmlFile)
         println("SERVER STARTED with document root ${doc_root}.")
         println("Go to "+url+" . Run  gradle --stop  to stop (kills all gradle daemons).")
         println("For debug: "+url+"?j2sdebug")
-        println("For core: "+urlcore)
-
-        file(htmlFile).text = """
-        <p><a href="${url}">JalviewJS Test. &lt;${url}&gt;</a></p>
-        <p><a href="${url}?j2sdebug">JalviewJS Test with debug. &lt;${url}?j2sdebug&lt;</a></p>
-        <p><a href="${urlcore}">${jalviewjsJalviewTemplateName} Core Test. &lt;${urlcore}&gt;</a></p>
-        """
-
+        println("For verbose: "+url+"?j2sverbose")
       } catch (Exception e) {
         port++;
       }
     }
+    def htmlText = """
+      <p><a href="${url}">JalviewJS Test. &lt;${url}&gt;</a></p>
+      <p><a href="${url}?j2sdebug">JalviewJS Test with debug. &lt;${url}?j2sdebug&gt;</a></p>
+      <p><a href="${url}?j2sverbose">JalviewJS Test with verbose. &lt;${url}?j2sdebug&gt;</a></p>
+      """
+    jalviewjsCoreClasslists.each { cl ->
+      def urlcore = jalviewjsServer.getResourceUrl(file(cl.outputfile).getName())
+      htmlText += """
+      <p><a href="${urlcore}">${jalviewjsJalviewTemplateName} [core ${cl.name}]. &lt;${urlcore}&gt;</a></p>
+      """
+      println("For core ${cl.name}: "+urlcore)
+    }
 
+    file(htmlFile).text = htmlText
   }
 
   outputs.file(htmlFile)
@@ -2202,10 +2263,60 @@ task cleanJalviewjsAll {
 }
 
 
+task jalviewjsIDE_checkJ2sPlugin {
+  group "00 JalviewJS in Eclipse"
+  description "Compare the swingjs/net.sf.j2s.core.jar file with the Eclipse IDE's plugin version (found in the 'dropins' dir)"
 
-task jalviewjsIDE_CopyTransferSiteJs(type: Copy) {
-  from "${jalviewDir}/${jalviewjsTransferSiteJsDir}"
-  into "${jalviewDir}/${jalviewjsSiteDir}"
+  doFirst {
+    def j2sPlugin = string("${jalviewDir}/${jalviewjs_j2s_plugin}")
+    def j2sPluginFile = file(j2sPlugin)
+    def eclipseHome = System.properties["eclipse.home.location"]
+    def copyPlugin = jalviewjs_eclipseIDE_auto_copy_j2s_plugin == "true"
+    def doCopy = false
+    if (eclipseHome == null || ! IN_ECLIPSE) {
+      throw new StopExecutionException("Cannot find running Eclipse home from System.properties['eclipse.home.location']. Skipping J2S Plugin Check.")
+    }
+    def eclipseJ2sPlugin = "${eclipseHome}/dropins/${j2sPluginFile.getName()}"
+    def eclipseJ2sPluginFile = file(eclipseJ2sPlugin)
+    if (!eclipseJ2sPluginFile.exists()) {
+      def msg = "Eclipse J2S Plugin is not installed"
+      println(msg)
+      if (! copyPlugin) {
+        throw new GradleException(msg)
+      }
+      doCopy = true
+    }
+
+    def digest = MessageDigest.getInstance("MD5")
+
+    digest.update(j2sPluginFile.text.bytes)
+    def j2sPluginMd5 = new BigInteger(1, digest.digest()).toString(16).padLeft(32, '0')
+
+    digest.update(eclipseJ2sPluginFile.text.bytes)
+    def eclipseJ2sPluginMd5 = new BigInteger(1, digest.digest()).toString(16).padLeft(32, '0')
+     
+    if (j2sPluginMd5 != eclipseJ2sPluginMd5) {
+      def msg = "WARNING! Eclipse J2S Plugin '${eclipseJ2sPlugin}' is different to this commit's version '${j2sPlugin}'"
+      println(msg)
+      if (! copyPlugin) {
+        throw new StopExecutionException(msg)
+      }
+      doCopy = true
+    }
+
+    if (doCopy) {
+      def msg = "WARNING! Auto-copying this commit's j2s plugin version '${j2sPlugin}' to Eclipse J2S Plugin '${eclipseJ2sPlugin}'\n         May require an Eclipse restart"
+      println(msg)
+      copy {
+        from j2sPlugin
+        eclipseJ2sPluginFile.getParentFile().mkdirs()
+        into eclipseJ2sPluginFile.getParent()
+      }
+    } else {
+      def msg = "Eclipse J2S Plugin is the same as '${j2sPlugin}'"
+      println(msg)
+    }
+  }
 }
 
 
@@ -2216,18 +2327,27 @@ task jalviewjsIDE_j2sFile {
 }
 
 
-task jalviewjsIDE_BuildAllCores {
+task jalviewjsIDE_SyncCore {
   group "00 JalviewJS in Eclipse"
-  description "Build the core js lib closures listed in the classlists dir"
-  dependsOn jalviewjsNoTranspileBuildAllCores
+  description "Build the core js lib closures listed in the classlists dir and publish core html from template"
+  dependsOn jalviewjsSyncCore
+}
+
+
+task jalviewjsIDE_PrepareSite {
+  group "00 JalviewJS in Eclipse"
+  description "Sync libs and resources to site dir, but not closure cores"
+  dependsOn jalviewjsSyncAllLibs
+  dependsOn jalviewjsSyncResources
+  dependsOn jalviewjsSyncSiteResources
+  dependsOn jalviewjsSyncBuildProperties
 }
 
 
 task jalviewjsIDE_AssembleSite {
   group "00 JalviewJS in Eclipse"
-  description "Assembles the Eclipse transpiled site and unzips supporting zipfiles"
-  dependsOn jalviewjsIDE_CopyTransferSiteJs
-  dependsOn jalviewjsNoTranspilePrepareSite
+  description "Assembles unzipped supporting zipfiles, resources, site resources and closure cores into the Eclipse transpiled site"
+  dependsOn jalviewjsPrepareSite
 }
 
 
@@ -2245,17 +2365,18 @@ task jalviewjsIDE_Server {
 }
 
 
-// buildship runs this at import
+// buildship runs this at import or gradle refresh
 task eclipseSynchronizationTask {
-  dependsOn eclipseSetup
+  //dependsOn eclipseSetup
   dependsOn jalviewjsIDE_j2sFile
+  dependsOn jalviewjsIDE_checkJ2sPlugin
 }
 
 
-// buildship runs this at build time
+// buildship runs this at build time or project refresh
 task eclipseAutoBuildTask {
-  dependsOn jalviewjsNoTranspileSyncTransferSiteJs
-  dependsOn jalviewjsNoTranspilePrepareSite
+  //dependsOn jalviewjsIDE_checkJ2sPlugin
+  dependsOn jalviewjsIDE_PrepareSite
 }