Merge branch 'develop' into releases/Release_2_11_3_Branch
authorJames Procter <j.procter@dundee.ac.uk>
Thu, 5 Oct 2023 07:07:55 +0000 (08:07 +0100)
committerJames Procter <j.procter@dundee.ac.uk>
Thu, 5 Oct 2023 07:07:55 +0000 (08:07 +0100)
help/help/html/features/annotation.html
help/help/html/features/paematrices.html
help/help/html/menus/alwannotationpanel.html
help/markdown/releases/release-2_11_3_0.md
help/markdown/whatsnew/whatsnew-2_11_3_0.md
help/templates/whatsNew.html

index b63d20b..76b23eb 100755 (executable)
@@ -29,7 +29,7 @@
 
   <p>
     In addition to the definition of groups and sequence features,
-    Jalview can display symbols and graphs under the columns of an
+    Jalview can display symbols, line graphs, histograms and heatmaps under the columns of an
     alignment. These annotation tracks are displayed in the annotation
     area below the alignment. The annotation area's visibility is
     controlled with the <strong>View&#8594;Show Annotation</strong>
   <ul>
     <li><a name="seqannots"><strong>Sequence
           associated annotation.</strong></a><br />Data displayed on sequence
-      annotation rows are associated with the positions of a sequence.
+      associated annotation rows are associated with the positions of a sequence.
       Often this is 'Reference annotation' such as secondary structure
       information derived from 3D structure data, or from the results of
       sequence based prediction of <a href="../webServices/jnet.html">secondary
         structure</a> and <a href="../webServices/proteinDisorder.html">disorder</a>.
-      If reference annotation is available for a the currently selected
-      sequences, it can be shown by selecting the <strong>Add
+      If reference annotations are available for a particular sequence or the current selections, they can be shown by selecting the <strong>Add
         Reference Annotation</strong> option in the sequence or selection popup
-      menu.</li>
+      menu.<br/>Jalview currently supports the following sources of sequence associated annotation:<ul><li>Protein and RNA Secondary Structure<br/>These can be obtained from JPred and RNAAliFold secondary structure prediction services, and also for imported 3D Structure data.</li><li>Temperature factor, Model Quality or AlphaFold Reliability</br>Jalview extracts and displays values from the 'Temperature Factor' column of PDB and mmCIF files, interpreted in various ways. For regular PDB files, these are imported directly as 'Temperature Factor', but for structures from computational methods such as EBI-AlphaFold, these values are interpreted and shown as 'AlphaFold Reliability' or 'Model Quality' according to the source.</li><li><a href="paematrices.html">Predicted Alignment Error</a> heatmaps<br/>These are displayed for models retrieved from EBI-AlphaFold or when a supported JSON format PAE file is provided when importing a <a href="structurechooser.html#loadpdbfile">local 3D structure file</a>.</li></ul></li>
     <li><strong>Group associated annotation.</strong><br />Data can
       be associated with groups defined on the alignment. If sequence
       groups are defined, <a href="../calculations/conservation.html">Conservation</a>
       alignment</a>. Annotations can also be used to <a
       href="../features/columnFilterByAnnotation.html">select or
       hide columns</a> via the dialog opened from the <strong>Selection</strong>
-    menu.
+    menu. You can also colour, select or hide columns of the alignment using any displayed annotation row by right-clicking its label and selecting the option from the displayed pop-up menu.
   </p>
   <p>
+    <strong>Adjusting the height of histograms, line graphs and heatmaps</strong><br/>The height of line graphs, bar charts and <a href="paematrices.html">predicted alignment error (PAE) matrix heatmaps</a> can be adjusted simply by click-dragging them up or down to increase or decrease the height. Hold down <em><strong>SHIFT</strong></em> to adjust the height of all instances of a particular type of annotation row.</p>
+  <p>
     <strong>Sequence Highlighting and Selection from Annotation</strong>
   </p>
   <p>
       (Mac CMD) double-click</strong> will toggle inclusion of associated
     sequences in the selection.
   <p>
+    <strong>Selecting, analysing and exploring heatmap annotation</strong>
+  </p><p>Mouseovers on heap annotation tracks result in a tooltip displaying information about the range of values under the mouse, and their associated row and column in the heatmap.<br/>For <a href="paematrices.html">Predicted Alignment Error (PAE) matrices</a>, the only form of heatmap annotation currently supported by Jalview, both the vertical and horizontal positions in the heatmap correspond to positions in linked 3D structures and the associated sequence in the alignment - so clicking any position in a heatmap will select columns in the alignment corresponding to the selected row(s) and column under the mouse.
+    <ul>
+      <li>Rows and columns in the heatmap corresponding to currently selected columns in the alignment are shown as red horizontal and vertical bands.</li>
+      <li><em>Rectangular Selections</em> can be created by pressing <em>CMD (or Window/Meta key)</em> whilst click-dragging across an area of the annotation.</li>
+      <li><em>Data driven selections</em> - e.g. selecting regions of low values of Predicted Alignment Error in a heatmap can be dome by pressing <em>CTRL</em> whilst clicking a region of an alignment.</li>
+    </ul>
+    Heatmap annotations can also be clustered, enabling columns of the alignment to be grouped based on similarity of the sets of values in the heatmap. <em>Double clicking</em> a region of a clustered heatmap annotation will select both the row and columns of the alignment grouped by the clustering. See <a href="paematrices.html#clustering">clustering PAE matrices</a> for more information.
+  <p>
     <strong>Interactive Alignment Annotation</strong>
   </p>
   <p>
         in 2.5)</em><br> <em>Selecting this toggles whether column
         labels will be shrunk to fit within each column, or displayed
         using the view's standard font size.</em></li>
+    <li><strong></strong><em>(introduced in 2.11.3)</em><br/><em></em></li>
+    <li><strong></strong><em>(introduced in 2.11.3)</em><br/><em></em></li>
+    <li><strong></strong><em>(introduced in 2.11.3)</em><br/><em></em></li>
+    <li><strong></strong><em>(introduced in 2.11.3)</em><br/><em></em></li>
+    <li><strong></strong><em>(introduced in 2.11.3)</em><br/><em></em></li>
+    <li><strong></strong><em>(introduced in 2.11.3)</em><br/><em></em></li>
+    
   </ul>
   <p>
     <strong>Editing labels and secondary structure annotation
index 8d180ee..2f00e19 100644 (file)
                        href="https://alphafold.ebi.ac.uk/entry/O04090">O04090 3D model</a>
                at EBI-AlphaFoldDB).
        </p>
-       <div style="display:flex; flex-wrap:wrap;"align="center" width="100%">
-       <figure><img src="../structures/epas1_annotdetail.png" height="300"/><figcaption>Alignment of EPAS1 homologs from Human, Rat and Cow, with predicted alignment error shown in Jalview</figcaption></figure>
-       <figure><img src="../structures/epas1_pae_ebiaf.png" height="300"/><figcaption>Predicted Alignment Error Matrix<br/>from <a href="https://alphafold.ebi.ac.uk/entry/Q99814">https://alphafold.ebi.ac.uk/entry/Q99814</a></figcaption></figure>
+       <div style="display: flex; flex-wrap: wrap;" align="center"
+               width="100%">
+               <figure>
+                       <img src="../structures/epas1_annotdetail.png" height="300" />
+                       <figcaption>
+                               Alignment of EPAS1 homologs from Human, Rat and Cow<br />with
+                               predicted alignment error shown for Human
+                       </figcaption>
+               </figure>
+               <figure>
+                       <img src="../structures/epas1_pae_ebiaf.png" height="300" />
+                       <figcaption>
+                               Predicted Alignment Error for Human EPAS1<br />from <a
+                                       href="https://alphafold.ebi.ac.uk/entry/Q99814">https://alphafold.ebi.ac.uk/entry/Q99814</a>
+                       </figcaption>
+               </figure>
        </div>
        <p>
                <strong>Importing PAE Matrices</strong>
                        href="../features/structurechooser.html">Jalview's structure
                        chooser</a> GUI. If you have produced your own models and accompanying
                PAE matrices using a pipeline such as ColabFold, then you can load
-               them both together via the
-               <a href="../features/structurechooser.html#loadpdbfile">Load PDB
-                       File</a> dropdown menu in the 3D structure chooser, providing it is
-               in a
+               them both together via the <a
+                       href="../features/structurechooser.html#loadpdbfile">Load PDB
+                       File</a> dropdown menu in the 3D structure chooser, providing it is in a
                <a href="../io/paematrixformat.html">supported PAE format</a>.
        </p>
        <p>
                sequences and locate the option in the Selection submenu. You can do
                this in any alignment window (or view) where a sequence with
                associated PAE data appears.</p>
-       <p></p>
+       <p>
+               <strong>Adjusting the height of PAE matrix annotations</strong>
+       </p>
+       <p>
+               PAE annotations behave in the same way as Jalview's line graph and
+               histogram tracks. Click+dragging up and down with the left (select)
+               mouse button held down will increase or decrease the height of the
+               annotation. You can also hold down <strong><em>SHIFT</em></strong>
+               whilst doing this to adjust the height of all PAE rows at once.
+       </p>
+       <p>PAE matrix annotation rows behave like any other sequence
+               associated annotation, with the following additional features:</p>
+       <ul>
+               <li>The vertical axis of the PAE heatmap is mapped to positions
+                       on the linked 3D structure.
+                       <ul>
+                               <li>Mousing over the matrix shows a tooltip giving information
+                                       on the range of values under the mouse.<br />Positions in the
+                                       associated 3D structure are also highlighted in any linked views.
+                               </li>
+                               <li>Clicking on positions in the matrix selects columns of the
+                                       alignment corresponding to the row and column in the matrix.</li>
+                       </ul>
+               </li>
+               <li>Rectangular selections (created by Cmd (or Alt)+Click
+                       dragging on the matrix) can be created to select multiple ranges of
+                       columns at once.</li>
+               <li>Columns corresponding to adjacent regions with similarly low
+                       levels of predicted alignment error can be selected by Ctrl+Clicking
+                       on a region in the matrix.</li>
+               <li>Columns of an alignment showing a PAE matrix can be grouped
+                       and selected by clustering the matrix.</li>
+       </ul>
+       <p>
+               <strong><a name="clustering">Clustering PAE Matrices</a></strong>
+       </p>
+       <p>PAE matrices are useful for identifying regions of 3D structure
+               predictions that are likely to be positioned in space in the same or
+               similar way as shown in the predicted structure data. Regions of low
+               PAE often correlate with high alphafold reliability (PLDDT) scores,
+               but also complement them since they highlight well-folded regions such
+               as domains, and how well those regions have been predicted to be
+               positioned relative to eachother, which is important when evaluating
+               whether domain-domain interactions or other contacts can be trusted.</p>
+       <p>To make it more easy to identify regions of low PAE, Jalview can
+               cluster the PAE matrix, allowing columns of the matrix to be grouped
+               according to their similarity, using an Average Distance (UPGMA) tree
+               algorithm and the sum of differences between each column's PAE values.</p>
+       <p>
+               <strong><em>dist<sub>ij</sub></em> = &#8741; <em><u>p</u><sub>i</sub>-<u>p</u><sub>j</sub></em>
+                       &#8741;</strong>
+       </p>
+       <p>
+               To create a PAE matrix tree, right click on a PAE annotation's label
+               to open the annotation popup menu, and select <strong><em>Cluster
+                               Matrix</em></strong>. Once the calculation has finished, a tree viewer will open,
+               and columns of the matrix are then partitioned into groups such that
+               the third left-most node from the root is placed in its own group.
+               Colours are randomly assigned to each group, and by default these will
+               also be overlaid on the matrix annotation row.
+       <p>
+       <ul>
+               <li>The PAE matrix tree viewer behaves like other tree views in
+                       Jalview, except selecting nodes or groups of nodes in the tree select
+                       columns in the alignment rather than sequences, and clicking adjust
+                       the matrix's partition.</li>
+               <li>Only one tree and clustering can be defined for a PAE matrix,
+                       regardless of whether it is displayed in different views or
+                       alignments.</li>
+               <li>Double clicking on a position in the PAE annotation where a
+                       clustering has been defined will select both the row and column
+                       clusters for the clicked position. This makes it easy to select
+                       clusters corresponding to pairs of interacting regions.</li>
+               <li>Cluster colours for a PAE matrix can be used to colour
+                       sequences or columns of the alignment via the <strong><em><a
+                                       href="../colourSchemes/annotationColouring.html">Colour by
+                                               Annotation.. dialog</a></em></strong>
+                                               (opened by right-clicking the annotation label
+                       and selecting from the popup menu).
+               </li>
+       </ul>
+       <p>
+               <strong>PAE matrices and Jalview Projects</strong>
+       </p>
+       <p>Any PAE matrices imported to Jalview are saved along side any
+               trees and clustering defined on them in Jalview Projects.</p>
        <p>
                <em>Support for visualision and analysis of predicted alignment
                        error matrices was added in Jalview 2.11.3. </em>
index cd09693..ff53d0b 100755 (executable)
@@ -86,6 +86,7 @@
             highly variable regions.</em></li>
 
         <li>
+       </li>
         <li><strong>Copy Consensus Sequence</strong><br>
           Copies the consensus sequence to the clipboard in Fasta
           format, to allow the consensus sequence to be added to an
index 4904c4c..80f8cf4 100644 (file)
@@ -1,40 +1,31 @@
 ---
 version: 2.11.3.0
-date: 2023-07-19
+date: 2023-10-03
 channel: "release"
 ---
 
 ## New Features
 - <!-- JAL-4064 --> Native M1 build for macOS using Adoptium JRE 11 macos-aarch64
-- <!-- JAL-4054 --> Installers built with install4j10
-- <!-- JAL-3676 --> Allow log level configuration via Jalview's Java Console, and a Copy to Clipboard button
-- <!-- JAL-3416 --> FlatLAF default look and feel on Linux, OSX and everywhere else
-
+- <!-- JAL-3416 --> Jalview now uses a standard 'look and feel' (FlatLaf) on Linux, OSX and everywhere else
 - <!-- JAL-4019 --> Ambiguous Base Colourscheme
 - <!-- JAL-4061 --> Find can search sequence features' type and description
 - <!-- JAL-4062 --> Hold down Shift + CMD/CTRL C to copy highlighted regions as new sequences
 - <!-- JAL-1556 --> Quickly enable select and/or colour by for displayed annotation row via annotation panel popup menu
 - <!-- JAL-4094 --> Shift+Click+Drag to adjust height of all annotation tracks of same type
 - <!-- JAL-4190 --> Pressing escape in tree panel clears any current selection
-
 - <!-- JAL-4089 --> Use selected columns for superposition
 - <!-- JAL-4086 --> Highlight aligned positions on all associated structures when mousing over a column
-
 - <!-- JAL-4221 --> sequence descriptions are updated from database reference sources if not already defined
 - <!-- JAL-4273 --> Visible adjuster marks to grab and adjust annotation panel height and id width
 - <!-- JAL-4260 --> Adjustable ID margin when alignment is wrapped
-
 - <!-- JAL-4274 --> Command line options and configurable bitmap export preferences for height, width and scale factor
 
 ### Improved support for working with computationally determined models
-
 - <!-- JAL-3895 --> Alphafold red/orange/yellow/green colourscheme for structures
 - <!-- JAL-4095 --> Interactive picking of low pAE score regions
 - <!-- JAL-4027 --> contact matrix datatype in Jalview
 - <!-- JAL-4033 --> Selections with visual feedback via contact matrix annotation
-
 - <!-- JAL-3855 --> Discover and import alphafold2 models and metadata from https://alphafold.ebi.ac.uk/
-
 - <!-- JAL-4091 --> Visual indication of relationship with associated sequence to distinguish different sequence associated annotation rows
 - <!-- JAL-4123 --> GUI and command line allows configuration of how temperature factor in imported 3D structure data should be interpreted
 - <!-- JAL-3914 --> Import model reliability scores encoded as temperature factor annotation with their correct name and semantics
@@ -43,17 +34,17 @@ channel: "release"
 - <!-- JAL-4124 --> Store/Restore PAE data and visualisation settings from Jalview Project
 - <!-- JAL-4083 --> Multiple residue sidechain highlighting in structure viewers from PAE mouseovers
 
-
 ### Jalview on the command line
-
 - <!-- JAL-4160,JAL-629,JAL-4262,JAL-4265, --> New command line argument framework allowing flexible batch processing, import of structures, pae matrices and other sequence associated data, and alignment and structure figure generation.
+- <!-- JAL-3830 --> Command-line wrapper script for macOS bundle, linux and Windows installations (bash, powershell and .bat wrappers)
 - <!-- JAL-4121 --> Assume --headless when jalview is run with a command line argument that generates output
 - <!-- JAL-244 --> Automatically adjust Left margin on import to avoid cropping of annotation labels & sequence IDs
 - <!-- JAL-901 --> Specify alignment title on import via --title argument
+- <!-- JAL-4195,JAL-4194,JAL-4193 --> sensible responses from the CLI when things go wrong during image export
+- Add a command line option to set Jalview properties for this session only
+- Add a command line option to suppress opening the startup file for this session
 
 ### Other improvements
-
-
 - <!-- JAL-4250 --> Secondary structure annotation glyphs are rendered anti-aliasing when enabled
 - <!-- JAL-325 --> Helix and Sheet glyphs vertically centered with respect to grey coil secondary structure annotation track
 - <!-- JAL-4253 --> Lower line of the sequence group border does not align with vertical and background residue box
@@ -61,32 +52,13 @@ channel: "release"
 - <!-- JAL-3119 --> Name of alignment and view included in overview window's title
 - <!-- JAL-4213 --> "add reference annotation" add all positions in reference annotation tracks, not just positions in the currently highlighted columns/selection range
 - <!-- JAL-4119 --> EMBL-EBI SIFTS file downloads now use split directories
-
-- <!-- JAL-4195,JAL-4194,JAL-4193 --> sensible responses from the CLI when things go wrong during image export
-Add a command line option to set Jalview properties for this session only
-Add a command line option to suppress opening the startup file for this session
-
-
-JAL-4187        Powershell launcher script fails when given no arguments with the old ArgsParser
-
-known issue ? <!-- JAL-4127    --> 'Reload' for a jalview project results in all windows being duplicated
-
-
-- <!-- JAL-3830 --> Command-line wrapper script for macOS bundle, linux and Windows installations (bash, powershell and .bat wrappers)
 - <!-- JAL-3820 --> In Linux desktops' task-managers, the grouped Jalview windows get a generic name
 - <!-- JAL-4206 --> Improved file chooser's 'recent files' view and added filter for 'All known alignment files'
 - <!-- JAL-4206 --> Relative files added to recent files list via import from command line are selected when Jalview opened from same location
-
-
-       
-## Still in progress (delete on release)
-
-- <!-- JAL-2382 --> Import and display sequence-associated contact predictions in CASP-RR format
-- <!-- JAL-2349 --> Contact prediction visualisation
-- <!-- JAL-2348 --> modularise annotation renderer
+- <!-- JAL-3676 --> Allow log level configuration via Jalview's Java Console, and a Copy to Clipboard button
 
 ### Development and Deployment
-
+- <!-- JAL-4054 --> Installers built with install4j10
 - <!-- JAL-4167 --> Create separate gradle test task for some tests
 - <!-- JAL-4212 --> Prevent gradle test on macOS continuously grabbing focus
 - <!-- JAL-4111 --> Allow gradle build to create suffixed DEVELOP-... builds with channel appbase
@@ -115,10 +87,10 @@ known issue ? <!-- JAL-4127        --> 'Reload' for a jalview project results in all wi
 - <!-- JAL-4189 --> macOS Dock and KDE taskbar names Jalview icon "java" when running
 - <!-- JAL-2910 --> HeadlessException in console in headless mode (actually fixed in 2.11.{0,1,2))
 
-
 ## New Known defects
 - <!-- JAL-4178 --> Cannot cancel structure view open action once it has been started via the structure chooser dialog
 - <!-- JAL-4142 --> Example project's multiple views do not open in distinct locations when eXpand views is used to show them all separately
+- <!-- JAL-4127 --> 'Reload' for a jalview project results in all windows being duplicated
 - <!-- JAL-4165 --> Missing last letter when copying consensus sequence from alignment if first column is hidden
 - <!-- JAL-4261 --> Last sequence ID in alignment not shown and annotation labels are misaligned in HTML export
 - <!-- JAL-3024 --> Files opened via command line with a relative path are added as relative paths to Recent files list (since 2.0.x)
index cf91e3a..b6c1b0d 100644 (file)
@@ -1,4 +1,4 @@
-The 2.11.3 Jalview release features a new and more powerful command line interface, support for in-depth exploration of predicted alignment error (PAE) matrices from AlphaFold in the context of multiple alignments, AlphaFold's standard Blue-Orange-Red confidence colourscheme, and a host of minor improvements and bug fixes.
+The 2.11.3 Jalview release features a new and more powerful command line interface, support for in-depth exploration of predicted alignment error (PAE) matrices from AlphaFold in the context of multiple alignments, AlphaFold's standard Blue-Orange-Red confidence colourscheme, and a host of [minor improvements and bug fixes](releases.html#Jalview.2.11.3.0)
 
 **Interactive exploration of AlphaFold Predicted Alignment Error Matrices**
 
index 70deea4..301ea4b 100755 (executable)
     <strong>Welcome to Jalview Version __VERSION__ (released __DISPLAY_DATE__)!!</strong><br/>
   </p>
 __WHATS_NEW__
-  <p>
-    The 2.11.2 release series provides support for two popular 3D
-    structure visualisation tools, new features for discovery of 3D
-    structures, improved platform integration and a new command line
-    tool allowing Jalview to be more easily called from scripts.</p>
-
-  <p>
-    <strong>View predicted protein structures via 3D-Beacons</strong> <br>
-    Jalview 2.11.2's <a href="features/structurechooser.html">Structure
-      Chooser includes a client for the 3D-Beacons Network</a>. Launched in
-    2021, the 3D-Beacons network (<a
-      href="https://www.ebi.ac.uk/pdbe/pdbe-kb/3dbeacons/">www.ebi.ac.uk/pdbe/pdbe-kb/3dbeacons/</a>)
-    provides a central point for the retrieval of predicted and observed
-    3D structures for sequences in Uniprot, including homology models
-    from Swiss-model and deep learning based predictions from the EBI's
-    Alphafold database (Orengo et al. 2020, <a
-      href="https://doi.org/10.12688/f1000research.20559.1">doi:10.12688/f1000research.20559.1</a>).<br>
-  </p>
-
-  <p>
-    <strong>Support for viewing structures with ChimeraX and
-      Pymol</strong><br> Jalview's 3D structure viewer system has been
-    re-architected to allow easier integration of external structure
-    viewers, and takes advantage of the strucViz2 Chimera communications
-    library developed by Scooter Morris (<a
-      href="https://doi.org/10.1093/bioinformatics/btm329">doi:10.1093/bioinformatics/btm329</a>).<br /> <br />
-    The <a href="features/preferences.html#structure">Structures
-      Preferences tab</a> provides new options allowing ChimeraX and
-    Pymol to be used for visualising external 3D structures. Views
-    from all structure viewers are saved in Jalview Projects, allowing
-    them to be shared with others using Jalview 2.11.2 or later,
-    providing they have the same viewer installed and configured to be
-    used with Jalview.<br/><br/>Jalview
-    2.11.2 has been tested with <strong>Pymol 2.5.0 (community)</strong> and <strong>2.5.2
-    (incentive)</strong>. For <strong>ChimeraX, we recommend using v1.3 or later</strong>.
-  </p>
-  <p>Other highlights include:</p>
-  <ul>
-    <li>Import of annotated DNA and RNA loci via GenBank and EMBL
-      style flatfile</li>
-    <li><strong>Easier configuration of <a
-        href="features/preferences.html#startup">Jalview's memory
-          allocation</a></strong></li>
-    <li>Scripts for <a href="features/commandline.html">running
-        Jalview via the command line</a> on macOS, Linux/Unix and Windows.
-    </li>
-  </ul>
-
-
-  <p>
-      For the full details, see <a
-        href="releases.html#Jalview.2.11.2">the Jalview 2.11.2 series
-        release notes</a>.
-    </p>
-  <p>
-    <strong>Known Issues</strong> <br />The following known issues will
-    be addressed in a minor patch release.
-  
-  <ul>
-    <li>Display of RESNUM sequence features are not suppressed when
-      structures associated with a sequence are viewed with an external
-      viewer (Regression from 2.11.1 series)</li>
-  </ul>
-    <p></p>
 </body>
 </html>