JAL-2835 take all CSQ fields; catch invalid field match patterns
[jalview.git] / src / jalview / io / vcf / VCFLoader.java
index 8dab1d6..2847bd7 100644 (file)
@@ -1,22 +1,18 @@
 package jalview.io.vcf;
 
-import htsjdk.samtools.util.CloseableIterator;
-import htsjdk.variant.variantcontext.Allele;
-import htsjdk.variant.variantcontext.VariantContext;
-import htsjdk.variant.vcf.VCFHeader;
-import htsjdk.variant.vcf.VCFHeaderLine;
-import htsjdk.variant.vcf.VCFHeaderLineCount;
-import htsjdk.variant.vcf.VCFInfoHeaderLine;
-
 import jalview.analysis.AlignmentUtils;
 import jalview.analysis.Dna;
 import jalview.api.AlignViewControllerGuiI;
+import jalview.bin.Cache;
 import jalview.datamodel.AlignmentI;
 import jalview.datamodel.DBRefEntry;
 import jalview.datamodel.GeneLociI;
 import jalview.datamodel.Mapping;
 import jalview.datamodel.SequenceFeature;
 import jalview.datamodel.SequenceI;
+import jalview.datamodel.features.FeatureAttributeType;
+import jalview.datamodel.features.FeatureSource;
+import jalview.datamodel.features.FeatureSources;
 import jalview.ext.ensembl.EnsemblMap;
 import jalview.ext.htsjdk.VCFReader;
 import jalview.io.gff.Gff3Helper;
@@ -31,6 +27,17 @@ import java.util.HashMap;
 import java.util.List;
 import java.util.Map;
 import java.util.Map.Entry;
+import java.util.regex.Pattern;
+import java.util.regex.PatternSyntaxException;
+
+import htsjdk.samtools.util.CloseableIterator;
+import htsjdk.variant.variantcontext.Allele;
+import htsjdk.variant.variantcontext.VariantContext;
+import htsjdk.variant.vcf.VCFHeader;
+import htsjdk.variant.vcf.VCFHeaderLine;
+import htsjdk.variant.vcf.VCFHeaderLineCount;
+import htsjdk.variant.vcf.VCFHeaderLineType;
+import htsjdk.variant.vcf.VCFInfoHeaderLine;
 
 /**
  * A class to read VCF data (using the htsjdk) and add variants as sequence
@@ -41,26 +48,37 @@ import java.util.Map.Entry;
 public class VCFLoader
 {
   /*
+   * Lookup keys, and default values, for Preference entries that describe
+   * patterns for VCF and VEP fields to capture 
+   */
+  private static final String VEP_FIELDS_PREF = "VEP_FIELDS";
+
+  private static final String VCF_FIELDS_PREF = "VCF_FIELDS";
+
+  private static final String DEFAULT_VCF_FIELDS = "AF,AC*";
+
+  private static final String DEFAULT_VEP_FIELDS = ".*";// "Allele,Consequence,IMPACT,SWISSPROT,SIFT,PolyPhen,CLIN_SIG";
+
+  /*
    * keys to fields of VEP CSQ consequence data
    * see https://www.ensembl.org/info/docs/tools/vep/vep_formats.html
    */
-  private static final String ALLELE_NUM_KEY = "ALLELE_NUM"; // 0 (ref), 1...
+  private static final String ALLELE_KEY = "Allele";
 
+  private static final String ALLELE_NUM_KEY = "ALLELE_NUM"; // 0 (ref), 1...
   private static final String FEATURE_KEY = "Feature"; // Ensembl stable id
 
   /*
    * default VCF INFO key for VEP consequence data
    * NB this can be overridden running VEP with --vcf_info_field
-   * - we don't handle this case (require CSQ identifier)
+   * - we don't handle this case (require identifier to be CSQ)
    */
-  private static final String CSQ = "CSQ";
+  private static final String CSQ_FIELD = "CSQ";
 
   /*
-   * separator for fields in consequence data
+   * separator for fields in consequence data is '|'
    */
-  private static final String PIPE = "|";
-
-  private static final String PIPE_REGEX = "\\" + PIPE;
+  private static final String PIPE_REGEX = "\\|";
 
   /*
    * key for Allele Frequency output by VEP
@@ -74,12 +92,6 @@ public class VCFLoader
   private static final String COMMA = ",";
 
   /*
-   * (temporary) flag that determines whether Jalview adds one feature
-   * per VCF record, or one per allele (preferred)
-   */
-  private static final boolean FEATURE_PER_ALLELE = true;
-
-  /*
    * the feature group assigned to a VCF variant in Jalview
    */
   private static final String FEATURE_GROUP_VCF = "VCF";
@@ -108,14 +120,33 @@ public class VCFLoader
   private VCFHeader header;
 
   /*
-   * the position (0...) of the ALLELE_NUM field in each block of
+   * the position (0...) of field in each block of
    * CSQ (consequence) data (if declared in the VCF INFO header for CSQ)
    * see http://www.ensembl.org/info/docs/tools/vep/vep_formats.html
    */
+  private int csqAlleleFieldIndex = -1;
   private int csqAlleleNumberFieldIndex = -1;
-
   private int csqFeatureFieldIndex = -1;
 
+  /*
+   * a unique identifier under which to save metadata about feature
+   * attributes (selected INFO field data)
+   */
+  private String sourceId;
+
+  /*
+   * The INFO IDs of data that is both present in the VCF file, and
+   * also matched by any filters for data of interest
+   */
+  List<String> vcfFieldsOfInterest;
+
+  /*
+   * The field offsets and identifiers for VEP (CSQ) data that is both present
+   * in the VCF file, and also matched by any filters for data of interest
+   * for example 0 -> Allele, 1 -> Consequence, ..., 36 -> SIFT, ...
+   */
+  Map<Integer, String> vepFieldsOfInterest;
+
   /**
    * Constructor given an alignment context
    * 
@@ -126,7 +157,7 @@ public class VCFLoader
     al = alignment;
 
     // map of species!chromosome!fromAssembly!toAssembly to {fromRange, toRange}
-    assemblyMappings = new HashMap<String, Map<int[], int[]>>();
+    assemblyMappings = new HashMap<>();
   }
 
   /**
@@ -175,18 +206,19 @@ public class VCFLoader
       reader = new VCFReader(filePath);
 
       header = reader.getFileHeader();
-      VCFHeaderLine ref = header
-              .getOtherHeaderLine(VCFHeader.REFERENCE_KEY);
+
+      sourceId = filePath;
+
+      saveMetadata(sourceId);
 
       /*
-       * note offset of CSQ ALLELE_NUM field if it is declared
+       * get offset of CSQ ALLELE_NUM and Feature if declared
        */
-      locateCsqFields();
+      parseCsqHeader();
 
-      // check if reference is wrt assembly19 (GRCh37)
-      // todo may need to allow user to specify reference assembly?
-      boolean isRefGrch37 = (ref != null && ref.getValue().contains(
-              "assembly19"));
+      VCFHeaderLine ref = header
+              .getOtherHeaderLine(VCFHeader.REFERENCE_KEY);
+      String vcfAssembly = ref.getValue();
 
       int varCount = 0;
       int seqCount = 0;
@@ -196,7 +228,7 @@ public class VCFLoader
        */
       for (SequenceI seq : al.getSequences())
       {
-        int added = loadVCF(seq, reader, isRefGrch37);
+        int added = loadSequenceVCF(seq, reader, vcfAssembly);
         if (added > 0)
         {
           seqCount++;
@@ -239,21 +271,105 @@ public class VCFLoader
   }
 
   /**
-   * Records the position of fields for ALLELE_NUM and Feature defined in the
-   * CSQ INFO header (if there is one). CSQ fields are declared in the CSQ INFO
-   * Description e.g.
+   * Reads metadata (such as INFO field descriptions and datatypes) and saves
+   * them for future reference
+   * 
+   * @param theSourceId
+   */
+  void saveMetadata(String theSourceId)
+  {
+    List<Pattern> vcfFieldPatterns = getFieldMatchers(VCF_FIELDS_PREF,
+            DEFAULT_VCF_FIELDS);
+    vcfFieldsOfInterest = new ArrayList<>();
+
+    FeatureSource metadata = new FeatureSource(theSourceId);
+
+    for (VCFInfoHeaderLine info : header.getInfoHeaderLines())
+    {
+      String attributeId = info.getID();
+      String desc = info.getDescription();
+      VCFHeaderLineType type = info.getType();
+      FeatureAttributeType attType = null;
+      switch (type)
+      {
+      case Character:
+        attType = FeatureAttributeType.Character;
+        break;
+      case Flag:
+        attType = FeatureAttributeType.Flag;
+        break;
+      case Float:
+        attType = FeatureAttributeType.Float;
+        break;
+      case Integer:
+        attType = FeatureAttributeType.Integer;
+        break;
+      case String:
+        attType = FeatureAttributeType.String;
+        break;
+      }
+      metadata.setAttributeName(attributeId, desc);
+      metadata.setAttributeType(attributeId, attType);
+
+      if (isFieldWanted(attributeId, vcfFieldPatterns))
+      {
+        vcfFieldsOfInterest.add(attributeId);
+      }
+    }
+
+    FeatureSources.getInstance().addSource(theSourceId, metadata);
+  }
+
+  /**
+   * Answers true if the field id is matched by any of the filter patterns, else
+   * false. Matching is against regular expression patterns, and is not
+   * case-sensitive.
+   * 
+   * @param id
+   * @param filters
+   * @return
+   */
+  private boolean isFieldWanted(String id, List<Pattern> filters)
+  {
+    for (Pattern p : filters)
+    {
+      if (p.matcher(id.toUpperCase()).matches())
+      {
+        return true;
+      }
+    }
+    return false;
+  }
+
+  /**
+   * Records 'wanted' fields defined in the CSQ INFO header (if there is one).
+   * Also records the position of selected fields (Allele, ALLELE_NUM, Feature)
+   * required for processing.
+   * <p>
+   * CSQ fields are declared in the CSQ INFO Description e.g.
    * <p>
    * Description="Consequence ...from ... VEP. Format: Allele|Consequence|...
    */
-  protected void locateCsqFields()
+  protected void parseCsqHeader()
   {
-    VCFInfoHeaderLine csqInfo = header.getInfoHeaderLine(CSQ);
+    List<Pattern> vepFieldFilters = getFieldMatchers(VEP_FIELDS_PREF,
+            DEFAULT_VEP_FIELDS);
+    vepFieldsOfInterest = new HashMap<>();
+
+    VCFInfoHeaderLine csqInfo = header.getInfoHeaderLine(CSQ_FIELD);
     if (csqInfo == null)
     {
       return;
     }
 
+    /*
+     * parse out the pipe-separated list of CSQ fields; we assume here that
+     * these form the last part of the description, and contain no spaces
+     */
     String desc = csqInfo.getDescription();
+    int spacePos = desc.lastIndexOf(" ");
+    desc = desc.substring(spacePos + 1);
+
     if (desc != null)
     {
       String[] format = desc.split(PIPE_REGEX);
@@ -264,18 +380,61 @@ public class VCFLoader
         {
           csqAlleleNumberFieldIndex = index;
         }
+        if (ALLELE_KEY.equals(field))
+        {
+          csqAlleleFieldIndex = index;
+        }
         if (FEATURE_KEY.equals(field))
         {
           csqFeatureFieldIndex = index;
         }
+
+        if (isFieldWanted(field, vepFieldFilters))
+        {
+          vepFieldsOfInterest.put(index, field);
+        }
+
         index++;
       }
     }
   }
 
   /**
+   * Reads the Preference value for the given key, with default specified if no
+   * preference set. The value is interpreted as a comma-separated list of
+   * regular expressions, and converted into a list of compiled patterns ready
+   * for matching. Patterns are forced to upper-case for non-case-sensitive
+   * matching.
+   * <p>
+   * This supports user-defined filters for fields of interest to capture while
+   * processing data. For example, VCF_FIELDS = AF,AC* would mean that VCF INFO
+   * fields with an ID of AF, or starting with AC, would be matched.
+   * 
+   * @param key
+   * @param def
+   * @return
+   */
+  private List<Pattern> getFieldMatchers(String key, String def)
+  {
+    String pref = Cache.getDefault(key, def);
+    List<Pattern> patterns = new ArrayList<>();
+    String[] tokens = pref.split(",");
+    for (String token : tokens)
+    {
+      try
+      {
+      patterns.add(Pattern.compile(token.toUpperCase()));
+      } catch (PatternSyntaxException e)
+      {
+        System.err.println("Invalid pattern ignored: " + token);
+      }
+    }
+    return patterns;
+  }
+
+  /**
    * Transfers VCF features to sequences to which this sequence has a mapping.
-   * If the mapping is 1:3, computes peptide variants from nucleotide variants.
+   * If the mapping is 3:1, computes peptide variants from nucleotide variants.
    * 
    * @param seq
    */
@@ -324,34 +483,77 @@ public class VCFLoader
   /**
    * Tries to add overlapping variants read from a VCF file to the given
    * sequence, and returns the number of variant features added. Note that this
-   * requires the sequence to hold information as to its chromosomal positions
-   * and reference, in order to be able to map the VCF variants to the sequence.
+   * requires the sequence to hold information as to its species, chromosomal
+   * positions and reference assembly, in order to be able to map the VCF
+   * variants to the sequence (or not)
    * 
    * @param seq
    * @param reader
-   * @param isVcfRefGrch37
+   * @param vcfAssembly
    * @return
    */
-  protected int loadVCF(SequenceI seq, VCFReader reader,
-          boolean isVcfRefGrch37)
+  protected int loadSequenceVCF(SequenceI seq, VCFReader reader,
+          String vcfAssembly)
   {
     int count = 0;
     GeneLociI seqCoords = seq.getGeneLoci();
     if (seqCoords == null)
     {
+      System.out.println(String.format(
+              "Can't query VCF for %s as chromosome coordinates not known",
+              seq.getName()));
+      return 0;
+    }
+
+    if (!vcfSpeciesMatchesSequence(vcfAssembly, seqCoords.getSpeciesId()))
+    {
       return 0;
     }
 
     List<int[]> seqChromosomalContigs = seqCoords.getMap().getToRanges();
     for (int[] range : seqChromosomalContigs)
     {
-      count += addVcfVariants(seq, reader, range, isVcfRefGrch37);
+      count += addVcfVariants(seq, reader, range, vcfAssembly);
     }
 
     return count;
   }
 
   /**
+   * Answers true if the species inferred from the VCF reference identifier
+   * matches that for the sequence
+   * 
+   * @param vcfAssembly
+   * @param speciesId
+   * @return
+   */
+  boolean vcfSpeciesMatchesSequence(String vcfAssembly, String speciesId)
+  {
+    // PROBLEM 1
+    // there are many aliases for species - how to equate one with another?
+    // PROBLEM 2
+    // VCF ##reference header is an unstructured URI - how to extract species?
+    // perhaps check if ref includes any (Ensembl) alias of speciesId??
+    // TODO ask the user to confirm this??
+
+    if (vcfAssembly.contains("Homo_sapiens") // gnomAD exome data example
+            && "HOMO_SAPIENS".equals(speciesId)) // Ensembl species id
+    {
+      return true;
+    }
+
+    if (vcfAssembly.contains("c_elegans") // VEP VCF response example
+            && "CAENORHABDITIS_ELEGANS".equals(speciesId)) // Ensembl
+    {
+      return true;
+    }
+
+    // this is not a sustainable solution...
+
+    return false;
+  }
+
+  /**
    * Queries the VCF reader for any variants that overlap the given chromosome
    * region of the sequence, and adds as variant features. Returns the number of
    * overlapping variants found.
@@ -361,12 +563,12 @@ public class VCFLoader
    * @param range
    *          start-end range of a sequence region in its chromosomal
    *          coordinates
-   * @param isVcfRefGrch37
-   *          true if the VCF is with reference to GRCh37
+   * @param vcfAssembly
+   *          the '##reference' identifier for the VCF reference assembly
    * @return
    */
   protected int addVcfVariants(SequenceI seq, VCFReader reader,
-          int[] range, boolean isVcfRefGrch37)
+          int[] range, String vcfAssembly)
   {
     GeneLociI seqCoords = seq.getGeneLoci();
 
@@ -375,22 +577,24 @@ public class VCFLoader
     String species = seqCoords.getSpeciesId();
 
     /*
-     * map chromosomal coordinates from GRCh38 (sequence) to
-     * GRCh37 (VCF) if necessary
+     * map chromosomal coordinates from sequence to VCF if the VCF
+     * data has a different reference assembly to the sequence
      */
-    // TODO generalise for other assemblies and species
+    // TODO generalise for non-human species
+    // - or get the user to choose in a dialog
+
     int offset = 0;
-    String fromRef = "GRCh38";
-    if (fromRef.equalsIgnoreCase(seqRef) && isVcfRefGrch37)
+    if ("GRCh38".equalsIgnoreCase(seqRef) // Ensembl
+            && vcfAssembly.contains("Homo_sapiens_assembly19")) // gnomAD
     {
       String toRef = "GRCh37";
       int[] newRange = mapReferenceRange(range, chromosome, "human",
-              fromRef, toRef);
+              seqRef, toRef);
       if (newRange == null)
       {
         System.err.println(String.format(
                 "Failed to map %s:%s:%s:%d:%d to %s", species, chromosome,
-                fromRef, range[0], range[1], toRef));
+                seqRef, range[0], range[1], toRef));
         return 0;
       }
       offset = newRange[0] - range[0];
@@ -417,27 +621,21 @@ public class VCFLoader
        */
       VariantContext variant = variants.next();
 
-      /*
-       * we can only process SNP variants (which can be reported
-       * as part of a MIXED variant record
-       */
-      if (!variant.isSNP() && !variant.isMixed())
-      {
-        continue;
-      }
-
       int start = variant.getStart() - offset;
       int end = variant.getEnd() - offset;
 
       /*
        * convert chromosomal location to sequence coordinates
+       * - may be reverse strand (convert to forward for sequence feature)
        * - null if a partially overlapping feature
        */
       int[] seqLocation = mapping.locateInFrom(start, end);
       if (seqLocation != null)
       {
-        count += addVariantFeature(seq, variant, seqLocation[0],
-                seqLocation[1], forwardStrand);
+        int featureStart = Math.min(seqLocation[0], seqLocation[1]);
+        int featureEnd = Math.max(seqLocation[0], seqLocation[1]);
+        count += addAlleleFeatures(seq, variant, featureStart, featureEnd,
+                forwardStrand);
       }
     }
 
@@ -447,86 +645,6 @@ public class VCFLoader
   }
 
   /**
-   * Inspects the VCF variant record, and adds variant features to the sequence.
-   * Only SNP variants are added, not INDELs. Returns the number of features
-   * added.
-   * <p>
-   * If the sequence maps to the reverse strand of the chromosome, reference and
-   * variant bases are recorded as their complements (C/G, A/T).
-   * 
-   * @param seq
-   * @param variant
-   * @param featureStart
-   * @param featureEnd
-   * @param forwardStrand
-   */
-  protected int addVariantFeature(SequenceI seq, VariantContext variant,
-          int featureStart, int featureEnd, boolean forwardStrand)
-  {
-    byte[] reference = variant.getReference().getBases();
-    if (reference.length != 1)
-    {
-      /*
-       * sorry, we don't handle INDEL variants
-       */
-      return 0;
-    }
-
-    if (FEATURE_PER_ALLELE)
-    {
-      return addAlleleFeatures(seq, variant, featureStart, featureEnd,
-              forwardStrand);
-    }
-
-    /*
-     * for now we extract allele frequency as feature score; note
-     * this attribute is String for a simple SNP, but List<String> if
-     * multiple alleles at the locus; we extract for the simple case only
-     */
-    float score = getAlleleFrequency(variant, 0);
-
-    StringBuilder sb = new StringBuilder();
-    sb.append(forwardStrand ? (char) reference[0] : complement(reference));
-
-    /*
-     * inspect alleles and record SNP variants (as the variant
-     * record could be MIXED and include INDEL and SNP alleles)
-     * warning: getAlleles gives no guarantee as to the order 
-     * in which they are returned
-     */
-    for (Allele allele : variant.getAlleles())
-    {
-      if (!allele.isReference())
-      {
-        byte[] alleleBase = allele.getBases();
-        if (alleleBase.length == 1)
-        {
-          sb.append(COMMA).append(
-                  forwardStrand ? (char) alleleBase[0]
-                          : complement(alleleBase));
-        }
-      }
-    }
-    String alleles = sb.toString(); // e.g. G,A,C
-
-    String type = SequenceOntologyI.SEQUENCE_VARIANT;
-
-    SequenceFeature sf = new SequenceFeature(type, alleles, featureStart,
-            featureEnd, score, FEATURE_GROUP_VCF);
-
-    sf.setValue(Gff3Helper.ALLELES, alleles);
-
-    Map<String, Object> atts = variant.getAttributes();
-    for (Entry<String, Object> att : atts.entrySet())
-    {
-      sf.setValue(att.getKey(), att.getValue());
-    }
-    seq.addSequenceFeature(sf);
-
-    return 1;
-  }
-
-  /**
    * A convenience method to get the AF value for the given alternate allele
    * index
    * 
@@ -579,7 +697,7 @@ public class VCFLoader
   }
 
   /**
-   * Adds one variant feature for each SNP allele in the VCF variant record, and
+   * Adds one variant feature for each allele in the VCF variant record, and
    * returns the number of features added.
    * 
    * @param seq
@@ -609,13 +727,14 @@ public class VCFLoader
 
   /**
    * Inspects one allele and attempts to add a variant feature for it to the
-   * sequence. Only SNP variants are added as features. We extract as much as
-   * possible of the additional data associated with this allele to store in the
-   * feature's key-value map. Answers the number of features added (0 or 1).
+   * sequence. We extract as much as possible of the additional data associated
+   * with this allele to store in the feature's key-value map. Answers the
+   * number of features added (0 or 1).
    * 
    * @param seq
    * @param variant
    * @param altAlleleIndex
+   *          (0, 1..)
    * @param featureStart
    * @param featureEnd
    * @param forwardStrand
@@ -625,24 +744,19 @@ public class VCFLoader
           int altAlleleIndex, int featureStart, int featureEnd,
           boolean forwardStrand)
   {
-    byte[] reference = variant.getReference().getBases();
+    String reference = variant.getReference().getBaseString();
     Allele alt = variant.getAlternateAllele(altAlleleIndex);
-    byte[] allele = alt.getBases();
-    if (allele.length != 1)
-    {
-      /*
-       * not a SNP variant
-       */
-      return 0;
-    }
+    String allele = alt.getBaseString();
 
     /*
-     * build the ref,alt allele description e.g. "G,A"
+     * build the ref,alt allele description e.g. "G,A", using the base
+     * complement if the sequence is on the reverse strand
      */
+    // TODO check how structural variants are shown on reverse strand
     StringBuilder sb = new StringBuilder();
-    sb.append(forwardStrand ? (char) reference[0] : complement(reference));
+    sb.append(forwardStrand ? reference : Dna.reverseComplement(reference));
     sb.append(COMMA);
-    sb.append(forwardStrand ? (char) allele[0] : complement(allele));
+    sb.append(forwardStrand ? allele : Dna.reverseComplement(allele));
     String alleles = sb.toString(); // e.g. G,A
 
     String type = SequenceOntologyI.SEQUENCE_VARIANT;
@@ -650,6 +764,7 @@ public class VCFLoader
 
     SequenceFeature sf = new SequenceFeature(type, alleles, featureStart,
             featureEnd, score, FEATURE_GROUP_VCF);
+    sf.setSource(sourceId);
 
     sf.setValue(Gff3Helper.ALLELES, alleles);
 
@@ -667,9 +782,9 @@ public class VCFLoader
    * @param seq
    * @param sf
    * @param altAlelleIndex
+   *          (0, 1..)
    */
-  protected void addAlleleProperties(VariantContext variant,
- SequenceI seq,
+  protected void addAlleleProperties(VariantContext variant, SequenceI seq,
           SequenceFeature sf, final int altAlelleIndex)
   {
     Map<String, Object> atts = variant.getAttributes();
@@ -682,10 +797,18 @@ public class VCFLoader
        * extract Consequence data (if present) that we are able to
        * associated with the allele for this variant feature
        */
-      if (CSQ.equals(key) && csqAlleleNumberFieldIndex > -1)
+      if (CSQ_FIELD.equals(key))
       {
-        addConsequences(att.getValue(), seq, sf, altAlelleIndex + 1);
-        return;
+        addConsequences(variant, seq, sf, altAlelleIndex);
+        continue;
+      }
+
+      /*
+       * filter out fields we don't want to capture
+       */
+      if (!vcfFieldsOfInterest.contains(key))
+      {
+        continue;
       }
 
       /*
@@ -736,9 +859,9 @@ public class VCFLoader
    * Inspects CSQ data blocks (consequences) and adds attributes on the sequence
    * feature for the current allele (and transcript if applicable)
    * <p>
-   * Allele matching: we require field ALLELE_NUM to match altAlleleIndex. If
-   * the CSQ data does not include ALLELE_NUM values then no data is added to
-   * the variant feature.
+   * Allele matching: if field ALLELE_NUM is present, it must match
+   * altAlleleIndex. If not present, then field Allele value must match the VCF
+   * Allele.
    * <p>
    * Transcript matching: if sequence name can be identified to at least one of
    * the consequences' Feature values, then select only consequences that match
@@ -746,17 +869,18 @@ public class VCFLoader
    * take all consequences (this is the case when adding features to the gene
    * sequence).
    * 
-   * @param value
+   * @param variant
    * @param seq
    * @param sf
    * @param altAlelleIndex
-   *          (1=first alternative allele...)
+   *          (0, 1..)
    */
-  protected void addConsequences(Object value, SequenceI seq,
-          SequenceFeature sf,
-          int altAlelleIndex)
+  protected void addConsequences(VariantContext variant, SequenceI seq,
+          SequenceFeature sf, int altAlelleIndex)
   {
-    if (!(value instanceof ArrayList<?>))
+    Object value = variant.getAttribute(CSQ_FIELD);
+
+    if (value == null || !(value instanceof ArrayList<?>))
     {
       return;
     }
@@ -765,12 +889,11 @@ public class VCFLoader
 
     /*
      * if CSQ data includes 'Feature', and any value matches the sequence name,
-     * then restrict consequence data to the matching value (transcript)
+     * then restrict consequence data to only the matching value (transcript)
      * i.e. just pick out consequences for the transcript the variant feature is on
      */
     String seqName = seq.getName()== null ? "" : seq.getName().toLowerCase();
-    boolean matchFeature = false;
-    String matchFeatureValue = null;
+    String matchFeature = null;
     if (csqFeatureFieldIndex > -1)
     {
       for (String consequence : consequences)
@@ -782,55 +905,115 @@ public class VCFLoader
           if (featureIdentifier.length() > 4
                   && seqName.indexOf(featureIdentifier.toLowerCase()) > -1)
           {
-            matchFeature = true;
-            matchFeatureValue = featureIdentifier;
+            matchFeature = featureIdentifier;
           }
         }
       }
     }
 
-    StringBuilder sb = new StringBuilder(128);
-    boolean found = false;
+    /*
+     * inspect CSQ consequences; where possible restrict to the consequence
+     * associated with the current transcript (Feature)
+     */
+    Map<String, String> csqValues = new HashMap<>();
 
     for (String consequence : consequences)
     {
       String[] csqFields = consequence.split(PIPE_REGEX);
 
-      /*
-       * check consequence is for the current transcript
-       */
-      if (matchFeature)
+      if (includeConsequence(csqFields, matchFeature, variant,
+              altAlelleIndex))
       {
-        if (csqFields.length <= csqFeatureFieldIndex)
-        {
-          continue;
-        }
-        String featureIdentifier = csqFields[csqFeatureFieldIndex];
-        if (!featureIdentifier.equals(matchFeatureValue))
+        /*
+         * inspect individual fields of this consequence, copying non-null
+         * values which are 'fields of interest'
+         */
+        int i = 0;
+        for (String field : csqFields)
         {
-          continue; // consequence is for a different transcript
+          if (field != null && field.length() > 0)
+          {
+            String id = vepFieldsOfInterest.get(i);
+            if (id != null)
+            {
+              csqValues.put(id, field);
+            }
+          }
+          i++;
         }
       }
+    }
+
+    if (!csqValues.isEmpty())
+    {
+      sf.setValue(CSQ_FIELD, csqValues);
+    }
+  }
 
-      if (csqFields.length > csqAlleleNumberFieldIndex)
+  /**
+   * Answers true if we want to associate this block of consequence data with
+   * the specified alternate allele of the VCF variant.
+   * <p>
+   * If consequence data includes the ALLELE_NUM field, then this has to match
+   * altAlleleIndex. Otherwise the Allele field of the consequence data has to
+   * match the allele value.
+   * <p>
+   * Optionally (if matchFeature is not null), restrict to only include
+   * consequences whose Feature value matches. This allows us to attach
+   * consequences to their respective transcripts.
+   * 
+   * @param csqFields
+   * @param matchFeature
+   * @param variant
+   * @param altAlelleIndex
+   *          (0, 1..)
+   * @return
+   */
+  protected boolean includeConsequence(String[] csqFields,
+          String matchFeature, VariantContext variant, int altAlelleIndex)
+  {
+    /*
+     * check consequence is for the current transcript
+     */
+    if (matchFeature != null)
+    {
+      if (csqFields.length <= csqFeatureFieldIndex)
       {
-        String alleleNum = csqFields[csqAlleleNumberFieldIndex];
-        if (String.valueOf(altAlelleIndex).equals(alleleNum))
-        {
-          if (found)
-          {
-            sb.append(COMMA);
-          }
-          found = true;
-          sb.append(consequence);
-        }
+        return false;
+      }
+      String featureIdentifier = csqFields[csqFeatureFieldIndex];
+      if (!featureIdentifier.equals(matchFeature))
+      {
+        return false; // consequence is for a different transcript
+      }
+    }
+
+    /*
+     * if ALLELE_NUM is present, it must match altAlleleIndex
+     * NB first alternate allele is 1 for ALLELE_NUM, 0 for altAlleleIndex
+     */
+    if (csqAlleleNumberFieldIndex > -1)
+    {
+      if (csqFields.length <= csqAlleleNumberFieldIndex)
+      {
+        return false;
       }
+      String alleleNum = csqFields[csqAlleleNumberFieldIndex];
+      return String.valueOf(altAlelleIndex + 1).equals(alleleNum);
     }
 
-    if (found)
+    /*
+     * else consequence allele must match variant allele
+     */
+    if (csqAlleleFieldIndex > -1 && csqFields.length > csqAlleleFieldIndex)
     {
-      sf.setValue(CSQ, sb.toString());
+      String csqAllele = csqFields[csqAlleleFieldIndex];
+      String vcfAllele = variant.getAlternateAllele(altAlelleIndex)
+              .getBaseString();
+      return csqAllele.equals(vcfAllele);
     }
+
+    return false;
   }
 
   /**
@@ -884,8 +1067,8 @@ public class VCFLoader
      * call (e.g.) http://rest.ensembl.org/map/human/GRCh38/17:45051610..45109016:1/GRCh37
      */
     EnsemblMap mapper = new EnsemblMap();
-    int[] mapping = mapper.getMapping(species, chromosome, fromRef, toRef,
-            queryRange);
+    int[] mapping = mapper.getAssemblyMapping(species, chromosome, fromRef,
+            toRef, queryRange);
 
     if (mapping == null)
     {