src/jalview/io/vcf/VCFLoader.java

   1 package jalview.io.vcf;
   2
   3 import htsjdk.samtools.util.CloseableIterator;
   4 import htsjdk.variant.variantcontext.Allele;
   5 import htsjdk.variant.variantcontext.VariantContext;
   6 import htsjdk.variant.vcf.VCFHeader;
   7 import htsjdk.variant.vcf.VCFHeaderLine;
   8 import htsjdk.variant.vcf.VCFHeaderLineCount;
   9 import htsjdk.variant.vcf.VCFInfoHeaderLine;
  10
  11 import jalview.analysis.AlignmentUtils;
  12 import jalview.analysis.Dna;
  13 import jalview.api.AlignViewControllerGuiI;
  14 import jalview.datamodel.AlignmentI;
  15 import jalview.datamodel.DBRefEntry;
  16 import jalview.datamodel.GeneLociI;
  17 import jalview.datamodel.Mapping;
  18 import jalview.datamodel.SequenceFeature;
  19 import jalview.datamodel.SequenceI;
  20 import jalview.ext.ensembl.EnsemblMap;
  21 import jalview.ext.htsjdk.VCFReader;
  22 import jalview.io.gff.Gff3Helper;
  23 import jalview.io.gff.SequenceOntologyI;
  24 import jalview.util.MapList;
  25 import jalview.util.MappingUtils;
  26 import jalview.util.MessageManager;
  27
  28 import java.io.IOException;
  29 import java.util.ArrayList;
  30 import java.util.HashMap;
  31 import java.util.List;
  32 import java.util.Map;
  33 import java.util.Map.Entry;
  34
  35 /**
  36  * A class to read VCF data (using the htsjdk) and add variants as sequence
  37  * features on dna and any related protein product sequences
  38  *
  39  * @author gmcarstairs
  40  */
  41 public class VCFLoader
  42 {
  43   /*
  44    * keys to fields of VEP CSQ consequence data
  45    * see https://www.ensembl.org/info/docs/tools/vep/vep_formats.html
  46    */
  47   private static final String ALLELE_KEY = "Allele";
  48
  49   private static final String ALLELE_NUM_KEY = "ALLELE_NUM"; // 0 (ref), 1...
  50   private static final String FEATURE_KEY = "Feature"; // Ensembl stable id
  51
  52   /*
  53    * what comes before column headings in CSQ Description field
  54    */
  55   private static final String FORMAT = "Format: ";
  56
  57   /*
  58    * default VCF INFO key for VEP consequence data
  59    * NB this can be overridden running VEP with --vcf_info_field
  60    * - we don't handle this case (require CSQ identifier)
  61    */
  62   private static final String CSQ = "CSQ";
  63
  64   /*
  65    * separator for fields in consequence data
  66    */
  67   private static final String PIPE = "|";
  68
  69   private static final String PIPE_REGEX = "\\" + PIPE;
  70
  71   /*
  72    * key for Allele Frequency output by VEP
  73    * see http://www.ensembl.org/info/docs/tools/vep/vep_formats.html
  74    */
  75   private static final String ALLELE_FREQUENCY_KEY = "AF";
  76
  77   /*
  78    * delimiter that separates multiple consequence data blocks
  79    */
  80   private static final String COMMA = ",";
  81
  82   /*
  83    * the feature group assigned to a VCF variant in Jalview
  84    */
  85   private static final String FEATURE_GROUP_VCF = "VCF";
  86
  87   /*
  88    * internal delimiter used to build keys for assemblyMappings
  89    *
  90    */
  91   private static final String EXCL = "!";
  92
  93   /*
  94    * the alignment we are associating VCF data with
  95    */
  96   private AlignmentI al;
  97
  98   /*
  99    * mappings between VCF and sequence reference assembly regions, as
 100    * key = "species!chromosome!fromAssembly!toAssembly
 101    * value = Map{fromRange, toRange}
 102    */
 103   private Map<String, Map<int[], int[]>> assemblyMappings;
 104
 105   /*
 106    * holds details of the VCF header lines (metadata)
 107    */
 108   private VCFHeader header;
 109
 110   /*
 111    * the position (0...) of field in each block of
 112    * CSQ (consequence) data (if declared in the VCF INFO header for CSQ)
 113    * see http://www.ensembl.org/info/docs/tools/vep/vep_formats.html
 114    */
 115   private int csqAlleleFieldIndex = -1;
 116   private int csqAlleleNumberFieldIndex = -1;
 117   private int csqFeatureFieldIndex = -1;
 118
 119   /**
 120    * Constructor given an alignment context
 121    *
 122    * @param alignment
 123    */
 124   public VCFLoader(AlignmentI alignment)
 125   {
 126     al = alignment;
 127
 128     // map of species!chromosome!fromAssembly!toAssembly to {fromRange, toRange}
 129     assemblyMappings = new HashMap<String, Map<int[], int[]>>();
 130   }
 131
 132   /**
 133    * Starts a new thread to query and load VCF variant data on to the alignment
 134    * <p>
 135    * This method is not thread safe - concurrent threads should use separate
 136    * instances of this class.
 137    *
 138    * @param filePath
 139    * @param gui
 140    */
 141   public void loadVCF(final String filePath,
 142           final AlignViewControllerGuiI gui)
 143   {
 144     if (gui != null)
 145     {
 146       gui.setStatus(MessageManager.getString("label.searching_vcf"));
 147     }
 148
 149     new Thread()
 150     {
 151
 152       @Override
 153       public void run()
 154       {
 155         VCFLoader.this.doLoad(filePath, gui);
 156       }
 157
 158     }.start();
 159   }
 160
 161   /**
 162    * Loads VCF on to an alignment - provided it can be related to one or more
 163    * sequence's chromosomal coordinates
 164    *
 165    * @param filePath
 166    * @param gui
 167    *          optional callback handler for messages
 168    */
 169   protected void doLoad(String filePath, AlignViewControllerGuiI gui)
 170   {
 171     VCFReader reader = null;
 172     try
 173     {
 174       // long start = System.currentTimeMillis();
 175       reader = new VCFReader(filePath);
 176
 177       header = reader.getFileHeader();
 178       VCFHeaderLine ref = header
 179               .getOtherHeaderLine(VCFHeader.REFERENCE_KEY);
 180
 181       /*
 182        * get offset of CSQ ALLELE_NUM and Feature if declared
 183        */
 184       locateCsqFields();
 185
 186       // check if reference is wrt assembly19 (GRCh37)
 187       // todo may need to allow user to specify reference assembly?
 188       boolean isRefGrch37 = (ref != null && ref.getValue().contains(
 189               "assembly19"));
 190
 191       int varCount = 0;
 192       int seqCount = 0;
 193
 194       /*
 195        * query for VCF overlapping each sequence in turn
 196        */
 197       for (SequenceI seq : al.getSequences())
 198       {
 199         int added = loadSequenceVCF(seq, reader, isRefGrch37);
 200         if (added > 0)
 201         {
 202           seqCount++;
 203           varCount += added;
 204           transferAddedFeatures(seq);
 205         }
 206       }
 207       if (gui != null)
 208       {
 209         // long elapsed = System.currentTimeMillis() - start;
 210         String msg = MessageManager.formatMessage("label.added_vcf",
 211                 varCount, seqCount);
 212         gui.setStatus(msg);
 213         if (gui.getFeatureSettingsUI() != null)
 214         {
 215           gui.getFeatureSettingsUI().discoverAllFeatureData();
 216         }
 217       }
 218     } catch (Throwable e)
 219     {
 220       System.err.println("Error processing VCF: " + e.getMessage());
 221       e.printStackTrace();
 222       if (gui != null)
 223       {
 224         gui.setStatus("Error occurred - see console for details");
 225       }
 226     } finally
 227     {
 228       if (reader != null)
 229       {
 230         try
 231         {
 232           reader.close();
 233         } catch (IOException e)
 234         {
 235           // ignore
 236         }
 237       }
 238     }
 239   }
 240
 241   /**
 242    * Records the position of selected fields defined in the CSQ INFO header (if
 243    * there is one). CSQ fields are declared in the CSQ INFO Description e.g.
 244    * <p>
 245    * Description="Consequence ...from ... VEP. Format: Allele|Consequence|...
 246    */
 247   protected void locateCsqFields()
 248   {
 249     VCFInfoHeaderLine csqInfo = header.getInfoHeaderLine(CSQ);
 250     if (csqInfo == null)
 251     {
 252       return;
 253     }
 254
 255     String desc = csqInfo.getDescription();
 256     int formatPos = desc.indexOf(FORMAT);
 257     if (formatPos == -1)
 258     {
 259       System.err.println("Parse error, failed to find " + FORMAT
 260               + " in " + desc);
 261       return;
 262     }
 263     desc = desc.substring(formatPos + FORMAT.length());
 264
 265     if (desc != null)
 266     {
 267       String[] format = desc.split(PIPE_REGEX);
 268       int index = 0;
 269       for (String field : format)
 270       {
 271         if (ALLELE_NUM_KEY.equals(field))
 272         {
 273           csqAlleleNumberFieldIndex = index;
 274         }
 275         if (ALLELE_KEY.equals(field))
 276         {
 277           csqAlleleFieldIndex = index;
 278         }
 279         if (FEATURE_KEY.equals(field))
 280         {
 281           csqFeatureFieldIndex = index;
 282         }
 283         index++;
 284       }
 285     }
 286   }
 287
 288   /**
 289    * Transfers VCF features to sequences to which this sequence has a mapping.
 290    * If the mapping is 1:3, computes peptide variants from nucleotide variants.
 291    *
 292    * @param seq
 293    */
 294   protected void transferAddedFeatures(SequenceI seq)
 295   {
 296     DBRefEntry[] dbrefs = seq.getDBRefs();
 297     if (dbrefs == null)
 298     {
 299       return;
 300     }
 301     for (DBRefEntry dbref : dbrefs)
 302     {
 303       Mapping mapping = dbref.getMap();
 304       if (mapping == null || mapping.getTo() == null)
 305       {
 306         continue;
 307       }
 308
 309       SequenceI mapTo = mapping.getTo();
 310       MapList map = mapping.getMap();
 311       if (map.getFromRatio() == 3)
 312       {
 313         /*
 314          * dna-to-peptide product mapping
 315          */
 316         AlignmentUtils.computeProteinFeatures(seq, mapTo, map);
 317       }
 318       else
 319       {
 320         /*
 321          * nucleotide-to-nucleotide mapping e.g. transcript to CDS
 322          */
 323         List<SequenceFeature> features = seq.getFeatures()
 324                 .getPositionalFeatures(SequenceOntologyI.SEQUENCE_VARIANT);
 325         for (SequenceFeature sf : features)
 326         {
 327           if (FEATURE_GROUP_VCF.equals(sf.getFeatureGroup()))
 328           {
 329             transferFeature(sf, mapTo, map);
 330           }
 331         }
 332       }
 333     }
 334   }
 335
 336   /**
 337    * Tries to add overlapping variants read from a VCF file to the given
 338    * sequence, and returns the number of variant features added. Note that this
 339    * requires the sequence to hold information as to its chromosomal positions
 340    * and reference, in order to be able to map the VCF variants to the sequence.
 341    *
 342    * @param seq
 343    * @param reader
 344    * @param isVcfRefGrch37
 345    * @return
 346    */
 347   protected int loadSequenceVCF(SequenceI seq, VCFReader reader,
 348           boolean isVcfRefGrch37)
 349   {
 350     int count = 0;
 351     GeneLociI seqCoords = seq.getGeneLoci();
 352     if (seqCoords == null)
 353     {
 354       return 0;
 355     }
 356
 357     List<int[]> seqChromosomalContigs = seqCoords.getMap().getToRanges();
 358     for (int[] range : seqChromosomalContigs)
 359     {
 360       count += addVcfVariants(seq, reader, range, isVcfRefGrch37);
 361     }
 362
 363     return count;
 364   }
 365
 366   /**
 367    * Queries the VCF reader for any variants that overlap the given chromosome
 368    * region of the sequence, and adds as variant features. Returns the number of
 369    * overlapping variants found.
 370    *
 371    * @param seq
 372    * @param reader
 373    * @param range
 374    *          start-end range of a sequence region in its chromosomal
 375    *          coordinates
 376    * @param isVcfRefGrch37
 377    *          true if the VCF is with reference to GRCh37
 378    * @return
 379    */
 380   protected int addVcfVariants(SequenceI seq, VCFReader reader,
 381           int[] range, boolean isVcfRefGrch37)
 382   {
 383     GeneLociI seqCoords = seq.getGeneLoci();
 384
 385     String chromosome = seqCoords.getChromosomeId();
 386     String seqRef = seqCoords.getAssemblyId();
 387     String species = seqCoords.getSpeciesId();
 388
 389     /*
 390      * map chromosomal coordinates from GRCh38 (sequence) to
 391      * GRCh37 (VCF) if necessary
 392      */
 393     // TODO generalise for other assemblies and species
 394     int offset = 0;
 395     String fromRef = "GRCh38";
 396     if (fromRef.equalsIgnoreCase(seqRef) && isVcfRefGrch37)
 397     {
 398       String toRef = "GRCh37";
 399       int[] newRange = mapReferenceRange(range, chromosome, "human",
 400               fromRef, toRef);
 401       if (newRange == null)
 402       {
 403         System.err.println(String.format(
 404                 "Failed to map %s:%s:%s:%d:%d to %s", species, chromosome,
 405                 fromRef, range[0], range[1], toRef));
 406         return 0;
 407       }
 408       offset = newRange[0] - range[0];
 409       range = newRange;
 410     }
 411
 412     boolean forwardStrand = range[0] <= range[1];
 413
 414     /*
 415      * query the VCF for overlaps
 416      * (convert a reverse strand range to forwards)
 417      */
 418     int count = 0;
 419     MapList mapping = seqCoords.getMap();
 420
 421     int fromLocus = Math.min(range[0], range[1]);
 422     int toLocus = Math.max(range[0], range[1]);
 423     CloseableIterator<VariantContext> variants = reader.query(chromosome,
 424             fromLocus, toLocus);
 425     while (variants.hasNext())
 426     {
 427       /*
 428        * get variant location in sequence chromosomal coordinates
 429        */
 430       VariantContext variant = variants.next();
 431
 432       /*
 433        * we can only process SNP variants (which can be reported
 434        * as part of a MIXED variant record
 435        */
 436       if (!variant.isSNP() && !variant.isMixed())
 437       {
 438         // continue;
 439       }
 440
 441       int start = variant.getStart() - offset;
 442       int end = variant.getEnd() - offset;
 443
 444       /*
 445        * convert chromosomal location to sequence coordinates
 446        * - null if a partially overlapping feature
 447        */
 448       int[] seqLocation = mapping.locateInFrom(start, end);
 449       if (seqLocation != null)
 450       {
 451         count += addAlleleFeatures(seq, variant, seqLocation[0],
 452                 seqLocation[1], forwardStrand);
 453       }
 454     }
 455
 456     variants.close();
 457
 458     return count;
 459   }
 460
 461   /**
 462    * A convenience method to get the AF value for the given alternate allele
 463    * index
 464    *
 465    * @param variant
 466    * @param alleleIndex
 467    * @return
 468    */
 469   protected float getAlleleFrequency(VariantContext variant, int alleleIndex)
 470   {
 471     float score = 0f;
 472     String attributeValue = getAttributeValue(variant,
 473             ALLELE_FREQUENCY_KEY, alleleIndex);
 474     if (attributeValue != null)
 475     {
 476       try
 477       {
 478         score = Float.parseFloat(attributeValue);
 479       } catch (NumberFormatException e)
 480       {
 481         // leave as 0
 482       }
 483     }
 484
 485     return score;
 486   }
 487
 488   /**
 489    * A convenience method to get an attribute value for an alternate allele
 490    *
 491    * @param variant
 492    * @param attributeName
 493    * @param alleleIndex
 494    * @return
 495    */
 496   protected String getAttributeValue(VariantContext variant,
 497           String attributeName, int alleleIndex)
 498   {
 499     Object att = variant.getAttribute(attributeName);
 500
 501     if (att instanceof String)
 502     {
 503       return (String) att;
 504     }
 505     else if (att instanceof ArrayList)
 506     {
 507       return ((List<String>) att).get(alleleIndex);
 508     }
 509
 510     return null;
 511   }
 512
 513   /**
 514    * Adds one variant feature for each allele in the VCF variant record, and
 515    * returns the number of features added.
 516    *
 517    * @param seq
 518    * @param variant
 519    * @param featureStart
 520    * @param featureEnd
 521    * @param forwardStrand
 522    * @return
 523    */
 524   protected int addAlleleFeatures(SequenceI seq, VariantContext variant,
 525           int featureStart, int featureEnd, boolean forwardStrand)
 526   {
 527     int added = 0;
 528
 529     /*
 530      * Javadoc says getAlternateAlleles() imposes no order on the list returned
 531      * so we proceed defensively to get them in strict order
 532      */
 533     int altAlleleCount = variant.getAlternateAlleles().size();
 534     for (int i = 0; i < altAlleleCount; i++)
 535     {
 536       added += addAlleleFeature(seq, variant, i, featureStart, featureEnd,
 537               forwardStrand);
 538     }
 539     return added;
 540   }
 541
 542   /**
 543    * Inspects one allele and attempts to add a variant feature for it to the
 544    * sequence. We extract as much as possible of the additional data associated
 545    * with this allele to store in the feature's key-value map. Answers the
 546    * number of features added (0 or 1).
 547    *
 548    * @param seq
 549    * @param variant
 550    * @param altAlleleIndex
 551    *          (0, 1..)
 552    * @param featureStart
 553    * @param featureEnd
 554    * @param forwardStrand
 555    * @return
 556    */
 557   protected int addAlleleFeature(SequenceI seq, VariantContext variant,
 558           int altAlleleIndex, int featureStart, int featureEnd,
 559           boolean forwardStrand)
 560   {
 561     String reference = variant.getReference().getBaseString();
 562     Allele alt = variant.getAlternateAllele(altAlleleIndex);
 563     String allele = alt.getBaseString();
 564     if (allele.length() != 1)
 565     {
 566       /*
 567        * not a SNP variant
 568        */
 569       // return 0;
 570     }
 571
 572     /*
 573      * build the ref,alt allele description e.g. "G,A", using the base
 574      * complement if the sequence is on the reverse strand
 575      */
 576     // TODO check how structural variants are shown on reverse strand
 577     StringBuilder sb = new StringBuilder();
 578     sb.append(forwardStrand ? reference : Dna.reverseComplement(reference));
 579     sb.append(COMMA);
 580     sb.append(forwardStrand ? allele : Dna.reverseComplement(allele));
 581     String alleles = sb.toString(); // e.g. G,A
 582
 583     String type = SequenceOntologyI.SEQUENCE_VARIANT;
 584     float score = getAlleleFrequency(variant, altAlleleIndex);
 585
 586     SequenceFeature sf = new SequenceFeature(type, alleles, featureStart,
 587             featureEnd, score, FEATURE_GROUP_VCF);
 588
 589     sf.setValue(Gff3Helper.ALLELES, alleles);
 590
 591     addAlleleProperties(variant, seq, sf, altAlleleIndex);
 592
 593     seq.addSequenceFeature(sf);
 594
 595     return 1;
 596   }
 597
 598   /**
 599    * Add any allele-specific VCF key-value data to the sequence feature
 600    *
 601    * @param variant
 602    * @param seq
 603    * @param sf
 604    * @param altAlelleIndex
 605    *          (0, 1..)
 606    */
 607   protected void addAlleleProperties(VariantContext variant, SequenceI seq,
 608           SequenceFeature sf, final int altAlelleIndex)
 609   {
 610     Map<String, Object> atts = variant.getAttributes();
 611
 612     for (Entry<String, Object> att : atts.entrySet())
 613     {
 614       String key = att.getKey();
 615
 616       /*
 617        * extract Consequence data (if present) that we are able to
 618        * associated with the allele for this variant feature
 619        */
 620       if (CSQ.equals(key))
 621       {
 622         addConsequences(variant, seq, sf, altAlelleIndex);
 623         return;
 624       }
 625
 626       /*
 627        * we extract values for other data which are allele-specific;
 628        * these may be per alternate allele (INFO[key].Number = 'A')
 629        * or per allele including reference (INFO[key].Number = 'R')
 630        */
 631       VCFInfoHeaderLine infoHeader = header.getInfoHeaderLine(key);
 632       if (infoHeader == null)
 633       {
 634         /*
 635          * can't be sure what data belongs to this allele, so
 636          * play safe and don't take any
 637          */
 638         continue;
 639       }
 640
 641       VCFHeaderLineCount number = infoHeader.getCountType();
 642       int index = altAlelleIndex;
 643       if (number == VCFHeaderLineCount.R)
 644       {
 645         /*
 646          * one value per allele including reference, so bump index
 647          * e.g. the 3rd value is for the  2nd alternate allele
 648          */
 649         index++;
 650       }
 651       else if (number != VCFHeaderLineCount.A)
 652       {
 653         /*
 654          * don't save other values as not allele-related
 655          */
 656         continue;
 657       }
 658
 659       /*
 660        * take the index'th value
 661        */
 662       String value = getAttributeValue(variant, key, index);
 663       if (value != null)
 664       {
 665         sf.setValue(key, value);
 666       }
 667     }
 668   }
 669
 670   /**
 671    * Inspects CSQ data blocks (consequences) and adds attributes on the sequence
 672    * feature for the current allele (and transcript if applicable)
 673    * <p>
 674    * Allele matching: if field ALLELE_NUM is present, it must match
 675    * altAlleleIndex. If not present, then field Allele value must match the VCF
 676    * Allele.
 677    * <p>
 678    * Transcript matching: if sequence name can be identified to at least one of
 679    * the consequences' Feature values, then select only consequences that match
 680    * the value (i.e. consequences for the current transcript sequence). If not,
 681    * take all consequences (this is the case when adding features to the gene
 682    * sequence).
 683    *
 684    * @param variant
 685    * @param seq
 686    * @param sf
 687    * @param altAlelleIndex
 688    *          (0, 1..)
 689    */
 690   protected void addConsequences(VariantContext variant, SequenceI seq,
 691           SequenceFeature sf, int altAlelleIndex)
 692   {
 693     Object value = variant.getAttribute(CSQ);
 694
 695     if (value == null || !(value instanceof ArrayList<?>))
 696     {
 697       return;
 698     }
 699
 700     List<String> consequences = (List<String>) value;
 701
 702     /*
 703      * if CSQ data includes 'Feature', and any value matches the sequence name,
 704      * then restrict consequence data to only the matching value (transcript)
 705      * i.e. just pick out consequences for the transcript the variant feature is on
 706      */
 707     String seqName = seq.getName()== null ? "" : seq.getName().toLowerCase();
 708     String matchFeature = null;
 709     if (csqFeatureFieldIndex > -1)
 710     {
 711       for (String consequence : consequences)
 712       {
 713         String[] csqFields = consequence.split(PIPE_REGEX);
 714         if (csqFields.length > csqFeatureFieldIndex)
 715         {
 716           String featureIdentifier = csqFields[csqFeatureFieldIndex];
 717           if (featureIdentifier.length() > 4
 718                   && seqName.indexOf(featureIdentifier.toLowerCase()) > -1)
 719           {
 720             matchFeature = featureIdentifier;
 721           }
 722         }
 723       }
 724     }
 725
 726     StringBuilder sb = new StringBuilder(128);
 727     boolean found = false;
 728
 729     for (String consequence : consequences)
 730     {
 731       String[] csqFields = consequence.split(PIPE_REGEX);
 732
 733       if (includeConsequence(csqFields, matchFeature, variant,
 734               altAlelleIndex))
 735       {
 736         if (found)
 737         {
 738           sb.append(COMMA);
 739         }
 740         found = true;
 741         sb.append(consequence);
 742       }
 743     }
 744
 745     if (found)
 746     {
 747       sf.setValue(CSQ, sb.toString());
 748     }
 749   }
 750
 751   /**
 752    * Answers true if we want to associate this block of consequence data with
 753    * the specified alternate allele of the VCF variant.
 754    * <p>
 755    * If consequence data includes the ALLELE_NUM field, then this has to match
 756    * altAlleleIndex. Otherwise the Allele field of the consequence data has to
 757    * match the allele value.
 758    * <p>
 759    * Optionally (if matchFeature is not null), restrict to only include
 760    * consequences whose Feature value matches. This allows us to attach
 761    * consequences to their respective transcripts.
 762    *
 763    * @param csqFields
 764    * @param matchFeature
 765    * @param variant
 766    * @param altAlelleIndex
 767    *          (0, 1..)
 768    * @return
 769    */
 770   protected boolean includeConsequence(String[] csqFields,
 771           String matchFeature, VariantContext variant, int altAlelleIndex)
 772   {
 773     /*
 774      * check consequence is for the current transcript
 775      */
 776     if (matchFeature != null)
 777     {
 778       if (csqFields.length <= csqFeatureFieldIndex)
 779       {
 780         return false;
 781       }
 782       String featureIdentifier = csqFields[csqFeatureFieldIndex];
 783       if (!featureIdentifier.equals(matchFeature))
 784       {
 785         return false; // consequence is for a different transcript
 786       }
 787     }
 788
 789     /*
 790      * if ALLELE_NUM is present, it must match altAlleleIndex
 791      * NB first alternate allele is 1 for ALLELE_NUM, 0 for altAlleleIndex
 792      */
 793     if (csqAlleleNumberFieldIndex > -1)
 794     {
 795       if (csqFields.length <= csqAlleleNumberFieldIndex)
 796       {
 797         return false;
 798       }
 799       String alleleNum = csqFields[csqAlleleNumberFieldIndex];
 800       return String.valueOf(altAlelleIndex + 1).equals(alleleNum);
 801     }
 802
 803     /*
 804      * else consequence allele must match variant allele
 805      */
 806     if (csqAlleleFieldIndex > -1 && csqFields.length > csqAlleleFieldIndex)
 807     {
 808       String csqAllele = csqFields[csqAlleleFieldIndex];
 809       String vcfAllele = variant.getAlternateAllele(altAlelleIndex)
 810               .getBaseString();
 811       return csqAllele.equals(vcfAllele);
 812     }
 813
 814     return false;
 815   }
 816
 817   /**
 818    * A convenience method to complement a dna base and return the string value
 819    * of its complement
 820    *
 821    * @param reference
 822    * @return
 823    */
 824   protected String complement(byte[] reference)
 825   {
 826     return String.valueOf(Dna.getComplement((char) reference[0]));
 827   }
 828
 829   /**
 830    * Determines the location of the query range (chromosome positions) in a
 831    * different reference assembly.
 832    * <p>
 833    * If the range is just a subregion of one for which we already have a mapping
 834    * (for example, an exon sub-region of a gene), then the mapping is just
 835    * computed arithmetically.
 836    * <p>
 837    * Otherwise, calls the Ensembl REST service that maps from one assembly
 838    * reference's coordinates to another's
 839    *
 840    * @param queryRange
 841    *          start-end chromosomal range in 'fromRef' coordinates
 842    * @param chromosome
 843    * @param species
 844    * @param fromRef
 845    *          assembly reference for the query coordinates
 846    * @param toRef
 847    *          assembly reference we wish to translate to
 848    * @return the start-end range in 'toRef' coordinates
 849    */
 850   protected int[] mapReferenceRange(int[] queryRange, String chromosome,
 851           String species, String fromRef, String toRef)
 852   {
 853     /*
 854      * first try shorcut of computing the mapping as a subregion of one
 855      * we already have (e.g. for an exon, if we have the gene mapping)
 856      */
 857     int[] mappedRange = findSubsumedRangeMapping(queryRange, chromosome,
 858             species, fromRef, toRef);
 859     if (mappedRange != null)
 860     {
 861       return mappedRange;
 862     }
 863
 864     /*
 865      * call (e.g.) http://rest.ensembl.org/map/human/GRCh38/17:45051610..45109016:1/GRCh37
 866      */
 867     EnsemblMap mapper = new EnsemblMap();
 868     int[] mapping = mapper.getMapping(species, chromosome, fromRef, toRef,
 869             queryRange);
 870
 871     if (mapping == null)
 872     {
 873       // mapping service failure
 874       return null;
 875     }
 876
 877     /*
 878      * save mapping for possible future re-use
 879      */
 880     String key = makeRangesKey(chromosome, species, fromRef, toRef);
 881     if (!assemblyMappings.containsKey(key))
 882     {
 883       assemblyMappings.put(key, new HashMap<int[], int[]>());
 884     }
 885
 886     assemblyMappings.get(key).put(queryRange, mapping);
 887
 888     return mapping;
 889   }
 890
 891   /**
 892    * If we already have a 1:1 contiguous mapping which subsumes the given query
 893    * range, this method just calculates and returns the subset of that mapping,
 894    * else it returns null. In practical terms, if a gene has a contiguous
 895    * mapping between (for example) GRCh37 and GRCh38, then we assume that its
 896    * subsidiary exons occupy unchanged relative positions, and just compute
 897    * these as offsets, rather than do another lookup of the mapping.
 898    * <p>
 899    * If in future these assumptions prove invalid (e.g. for bacterial dna?!),
 900    * simply remove this method or let it always return null.
 901    * <p>
 902    * Warning: many rapid calls to the /map service map result in a 429 overload
 903    * error response
 904    *
 905    * @param queryRange
 906    * @param chromosome
 907    * @param species
 908    * @param fromRef
 909    * @param toRef
 910    * @return
 911    */
 912   protected int[] findSubsumedRangeMapping(int[] queryRange, String chromosome,
 913           String species, String fromRef, String toRef)
 914   {
 915     String key = makeRangesKey(chromosome, species, fromRef, toRef);
 916     if (assemblyMappings.containsKey(key))
 917     {
 918       Map<int[], int[]> mappedRanges = assemblyMappings.get(key);
 919       for (Entry<int[], int[]> mappedRange : mappedRanges.entrySet())
 920       {
 921         int[] fromRange = mappedRange.getKey();
 922         int[] toRange = mappedRange.getValue();
 923         if (fromRange[1] - fromRange[0] == toRange[1] - toRange[0])
 924         {
 925           /*
 926            * mapping is 1:1 in length, so we trust it to have no discontinuities
 927            */
 928           if (MappingUtils.rangeContains(fromRange, queryRange))
 929           {
 930             /*
 931              * fromRange subsumes our query range
 932              */
 933             int offset = queryRange[0] - fromRange[0];
 934             int mappedRangeFrom = toRange[0] + offset;
 935             int mappedRangeTo = mappedRangeFrom + (queryRange[1] - queryRange[0]);
 936             return new int[] { mappedRangeFrom, mappedRangeTo };
 937           }
 938         }
 939       }
 940     }
 941     return null;
 942   }
 943
 944   /**
 945    * Transfers the sequence feature to the target sequence, locating its start
 946    * and end range based on the mapping. Features which do not overlap the
 947    * target sequence are ignored.
 948    *
 949    * @param sf
 950    * @param targetSequence
 951    * @param mapping
 952    *          mapping from the feature's coordinates to the target sequence
 953    */
 954   protected void transferFeature(SequenceFeature sf,
 955           SequenceI targetSequence, MapList mapping)
 956   {
 957     int[] mappedRange = mapping.locateInTo(sf.getBegin(), sf.getEnd());
 958
 959     if (mappedRange != null)
 960     {
 961       String group = sf.getFeatureGroup();
 962       int newBegin = Math.min(mappedRange[0], mappedRange[1]);
 963       int newEnd = Math.max(mappedRange[0], mappedRange[1]);
 964       SequenceFeature copy = new SequenceFeature(sf, newBegin, newEnd,
 965               group, sf.getScore());
 966       targetSequence.addSequenceFeature(copy);
 967     }
 968   }
 969
 970   /**
 971    * Formats a ranges map lookup key
 972    *
 973    * @param chromosome
 974    * @param species
 975    * @param fromRef
 976    * @param toRef
 977    * @return
 978    */
 979   protected static String makeRangesKey(String chromosome, String species,
 980           String fromRef, String toRef)
 981   {
 982     return species + EXCL + chromosome + EXCL + fromRef + EXCL
 983             + toRef;
 984   }
 985 }