src/jalview/io/FeaturesFile.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.io;
  22
  23 import jalview.analysis.AlignmentUtils;
  24 import jalview.analysis.SequenceIdMatcher;
  25 import jalview.api.AlignViewportI;
  26 import jalview.api.FeatureColourI;
  27 import jalview.api.FeatureRenderer;
  28 import jalview.api.FeaturesSourceI;
  29 import jalview.datamodel.AlignedCodonFrame;
  30 import jalview.datamodel.Alignment;
  31 import jalview.datamodel.AlignmentI;
  32 import jalview.datamodel.MappedFeatures;
  33 import jalview.datamodel.SequenceDummy;
  34 import jalview.datamodel.SequenceFeature;
  35 import jalview.datamodel.SequenceI;
  36 import jalview.datamodel.features.FeatureMatcherSet;
  37 import jalview.datamodel.features.FeatureMatcherSetI;
  38 import jalview.gui.Desktop;
  39 import jalview.io.gff.GffHelperBase;
  40 import jalview.io.gff.GffHelperFactory;
  41 import jalview.io.gff.GffHelperI;
  42 import jalview.schemes.FeatureColour;
  43 import jalview.util.ColorUtils;
  44 import jalview.util.MapList;
  45 import jalview.util.ParseHtmlBodyAndLinks;
  46 import jalview.util.StringUtils;
  47
  48 import java.awt.Color;
  49 import java.io.IOException;
  50 import java.util.ArrayList;
  51 import java.util.Arrays;
  52 import java.util.Collections;
  53 import java.util.HashMap;
  54 import java.util.LinkedHashMap;
  55 import java.util.List;
  56 import java.util.Map;
  57 import java.util.Map.Entry;
  58 import java.util.TreeMap;
  59
  60 /**
  61  * Parses and writes features files, which may be in Jalview, GFF2 or GFF3
  62  * format. These are tab-delimited formats but with differences in the use of
  63  * columns.
  64  *
  65  * A Jalview feature file may define feature colours and then declare that the
  66  * remainder of the file is in GFF format with the line 'GFF'.
  67  *
  68  * GFF3 files may include alignment mappings for features, which Jalview will
  69  * attempt to model, and may include sequence data following a ##FASTA line.
  70  *
  71  *
  72  * @author AMW
  73  * @author jbprocter
  74  * @author gmcarstairs
  75  */
  76 public class FeaturesFile extends AlignFile implements FeaturesSourceI
  77 {
  78   private static final String TAB_REGEX = "\\t";
  79
  80   private static final String STARTGROUP = "STARTGROUP";
  81
  82   private static final String ENDGROUP = "ENDGROUP";
  83
  84   private static final String STARTFILTERS = "STARTFILTERS";
  85
  86   private static final String ENDFILTERS = "ENDFILTERS";
  87
  88   private static final String ID_NOT_SPECIFIED = "ID_NOT_SPECIFIED";
  89
  90   private static final String NOTE = "Note";
  91
  92   protected static final String GFF_VERSION = "##gff-version";
  93
  94   private AlignmentI lastmatchedAl = null;
  95
  96   private SequenceIdMatcher matcher = null;
  97
  98   protected AlignmentI dataset;
  99
 100   protected int gffVersion;
 101
 102   /**
 103    * Creates a new FeaturesFile object.
 104    */
 105   public FeaturesFile()
 106   {
 107   }
 108
 109   /**
 110    * Constructor which does not parse the file immediately
 111    *
 112    * @param file
 113    * @param paste
 114    * @throws IOException
 115    */
 116   public FeaturesFile(String file, DataSourceType paste)
 117           throws IOException
 118   {
 119     super(false, file, paste);
 120   }
 121
 122   /**
 123    * @param source
 124    * @throws IOException
 125    */
 126   public FeaturesFile(FileParse source) throws IOException
 127   {
 128     super(source);
 129   }
 130
 131   /**
 132    * Constructor that optionally parses the file immediately
 133    *
 134    * @param parseImmediately
 135    * @param file
 136    * @param type
 137    * @throws IOException
 138    */
 139   public FeaturesFile(boolean parseImmediately, String file,
 140           DataSourceType type) throws IOException
 141   {
 142     super(parseImmediately, file, type);
 143   }
 144
 145   /**
 146    * Parse GFF or sequence features file using case-independent matching,
 147    * discarding URLs
 148    *
 149    * @param align
 150    *          - alignment/dataset containing sequences that are to be annotated
 151    * @param colours
 152    *          - hashtable to store feature colour definitions
 153    * @param removeHTML
 154    *          - process html strings into plain text
 155    * @return true if features were added
 156    */
 157   public boolean parse(AlignmentI align,
 158           Map<String, FeatureColourI> colours, boolean removeHTML)
 159   {
 160     return parse(align, colours, removeHTML, false);
 161   }
 162
 163   /**
 164    * Extends the default addProperties by also adding peptide-to-cDNA mappings
 165    * (if any) derived while parsing a GFF file
 166    */
 167   @Override
 168   public void addProperties(AlignmentI al)
 169   {
 170     super.addProperties(al);
 171     if (dataset != null && dataset.getCodonFrames() != null)
 172     {
 173       AlignmentI ds = (al.getDataset() == null) ? al : al.getDataset();
 174       for (AlignedCodonFrame codons : dataset.getCodonFrames())
 175       {
 176         ds.addCodonFrame(codons);
 177       }
 178     }
 179   }
 180
 181   /**
 182    * Parse GFF or Jalview format sequence features file
 183    *
 184    * @param align
 185    *          - alignment/dataset containing sequences that are to be annotated
 186    * @param colours
 187    *          - map to store feature colour definitions
 188    * @param removeHTML
 189    *          - process html strings into plain text
 190    * @param relaxedIdmatching
 191    *          - when true, ID matches to compound sequence IDs are allowed
 192    * @return true if features were added
 193    */
 194   public boolean parse(AlignmentI align,
 195           Map<String, FeatureColourI> colours, boolean removeHTML,
 196           boolean relaxedIdmatching)
 197   {
 198     return parse(align, colours, null, removeHTML, relaxedIdmatching);
 199   }
 200
 201   /**
 202    * Parse GFF or Jalview format sequence features file
 203    *
 204    * @param align
 205    *          - alignment/dataset containing sequences that are to be annotated
 206    * @param colours
 207    *          - map to store feature colour definitions
 208    * @param filters
 209    *          - map to store feature filter definitions
 210    * @param removeHTML
 211    *          - process html strings into plain text
 212    * @param relaxedIdmatching
 213    *          - when true, ID matches to compound sequence IDs are allowed
 214    * @return true if features were added
 215    */
 216   public boolean parse(AlignmentI align,
 217           Map<String, FeatureColourI> colours,
 218           Map<String, FeatureMatcherSetI> filters, boolean removeHTML,
 219           boolean relaxedIdmatching)
 220   {
 221     Map<String, String> gffProps = new HashMap<>();
 222     /*
 223      * keep track of any sequences we try to create from the data
 224      */
 225     List<SequenceI> newseqs = new ArrayList<>();
 226
 227     String line = null;
 228     try
 229     {
 230       String[] gffColumns;
 231       String featureGroup = null;
 232
 233       while ((line = nextLine()) != null)
 234       {
 235         // skip comments/process pragmas
 236         if (line.length() == 0 || line.startsWith("#"))
 237         {
 238           if (line.toLowerCase().startsWith("##"))
 239           {
 240             processGffPragma(line, gffProps, align, newseqs);
 241           }
 242           continue;
 243         }
 244
 245         gffColumns = line.split(TAB_REGEX);
 246         if (gffColumns.length == 1)
 247         {
 248           if (line.trim().equalsIgnoreCase("GFF"))
 249           {
 250             /*
 251              * Jalview features file with appended GFF
 252              * assume GFF2 (though it may declare ##gff-version 3)
 253              */
 254             gffVersion = 2;
 255             continue;
 256           }
 257         }
 258
 259         if (gffColumns.length > 0 && gffColumns.length < 4)
 260         {
 261           /*
 262            * if 2 or 3 tokens, we anticipate either 'startgroup', 'endgroup' or
 263            * a feature type colour specification
 264            */
 265           String ft = gffColumns[0];
 266           if (ft.equalsIgnoreCase(STARTFILTERS))
 267           {
 268             parseFilters(filters);
 269             continue;
 270           }
 271           if (ft.equalsIgnoreCase(STARTGROUP))
 272           {
 273             featureGroup = gffColumns[1];
 274           }
 275           else if (ft.equalsIgnoreCase(ENDGROUP))
 276           {
 277             // We should check whether this is the current group,
 278             // but at present there's no way of showing more than 1 group
 279             featureGroup = null;
 280           }
 281           else
 282           {
 283             String colscheme = gffColumns[1];
 284             FeatureColourI colour = FeatureColour
 285                     .parseJalviewFeatureColour(colscheme);
 286             if (colour != null)
 287             {
 288               colours.put(ft, colour);
 289             }
 290           }
 291           continue;
 292         }
 293
 294         /*
 295          * if not a comment, GFF pragma, startgroup, endgroup or feature
 296          * colour specification, that just leaves a feature details line
 297          * in either Jalview or GFF format
 298          */
 299         if (gffVersion == 0)
 300         {
 301           parseJalviewFeature(line, gffColumns, align, colours, removeHTML,
 302                   relaxedIdmatching, featureGroup);
 303         }
 304         else
 305         {
 306           parseGff(gffColumns, align, relaxedIdmatching, newseqs);
 307         }
 308       }
 309       resetMatcher();
 310     } catch (Exception ex)
 311     {
 312       // should report somewhere useful for UI if necessary
 313       warningMessage = ((warningMessage == null) ? "" : warningMessage)
 314               + "Parsing error at\n" + line;
 315       System.out.println("Error parsing feature file: " + ex + "\n" + line);
 316       ex.printStackTrace(System.err);
 317       resetMatcher();
 318       return false;
 319     }
 320
 321     /*
 322      * experimental - add any dummy sequences with features to the alignment
 323      * - we need them for Ensembl feature extraction - though maybe not otherwise
 324      */
 325     for (SequenceI newseq : newseqs)
 326     {
 327       if (newseq.getFeatures().hasFeatures())
 328       {
 329         align.addSequence(newseq);
 330       }
 331     }
 332     return true;
 333   }
 334
 335   /**
 336    * Reads input lines from STARTFILTERS to ENDFILTERS and adds a feature type
 337    * filter to the map for each line parsed. After exit from this method,
 338    * nextLine() should return the line after ENDFILTERS (or we are already at
 339    * end of file if ENDFILTERS was missing).
 340    *
 341    * @param filters
 342    * @throws IOException
 343    */
 344   protected void parseFilters(Map<String, FeatureMatcherSetI> filters)
 345           throws IOException
 346   {
 347     String line;
 348     while ((line = nextLine()) != null)
 349     {
 350       if (line.toUpperCase().startsWith(ENDFILTERS))
 351       {
 352         return;
 353       }
 354       String[] tokens = line.split(TAB_REGEX);
 355       if (tokens.length != 2)
 356       {
 357         System.err.println(String.format("Invalid token count %d for %d",
 358                 tokens.length, line));
 359       }
 360       else
 361       {
 362         String featureType = tokens[0];
 363         FeatureMatcherSetI fm = FeatureMatcherSet.fromString(tokens[1]);
 364         if (fm != null && filters != null)
 365         {
 366           filters.put(featureType, fm);
 367         }
 368       }
 369     }
 370   }
 371
 372   /**
 373    * Try to parse a Jalview format feature specification and add it as a
 374    * sequence feature to any matching sequences in the alignment. Returns true
 375    * if successful (a feature was added), or false if not.
 376    *
 377    * @param line
 378    * @param gffColumns
 379    * @param alignment
 380    * @param featureColours
 381    * @param removeHTML
 382    * @param relaxedIdmatching
 383    * @param featureGroup
 384    */
 385   protected boolean parseJalviewFeature(String line, String[] gffColumns,
 386           AlignmentI alignment, Map<String, FeatureColourI> featureColours,
 387           boolean removeHTML, boolean relaxedIdMatching,
 388           String featureGroup)
 389   {
 390     /*
 391      * tokens: description seqid seqIndex start end type [score]
 392      */
 393     if (gffColumns.length < 6)
 394     {
 395       System.err.println("Ignoring feature line '" + line
 396               + "' with too few columns (" + gffColumns.length + ")");
 397       return false;
 398     }
 399     String desc = gffColumns[0];
 400     String seqId = gffColumns[1];
 401     SequenceI seq = findSequence(seqId, alignment, null, relaxedIdMatching);
 402
 403     if (!ID_NOT_SPECIFIED.equals(seqId))
 404     {
 405       seq = findSequence(seqId, alignment, null, relaxedIdMatching);
 406     }
 407     else
 408     {
 409       seqId = null;
 410       seq = null;
 411       String seqIndex = gffColumns[2];
 412       try
 413       {
 414         int idx = Integer.parseInt(seqIndex);
 415         seq = alignment.getSequenceAt(idx);
 416       } catch (NumberFormatException ex)
 417       {
 418         System.err.println("Invalid sequence index: " + seqIndex);
 419       }
 420     }
 421
 422     if (seq == null)
 423     {
 424       System.out.println("Sequence not found: " + line);
 425       return false;
 426     }
 427
 428     int startPos = Integer.parseInt(gffColumns[3]);
 429     int endPos = Integer.parseInt(gffColumns[4]);
 430
 431     String ft = gffColumns[5];
 432
 433     if (!featureColours.containsKey(ft))
 434     {
 435       /*
 436        * Perhaps an old style groups file with no colours -
 437        * synthesize a colour from the feature type
 438        */
 439       Color colour = ColorUtils.createColourFromName(ft);
 440       featureColours.put(ft, new FeatureColour(colour));
 441     }
 442     SequenceFeature sf = null;
 443     if (gffColumns.length > 6)
 444     {
 445       float score = Float.NaN;
 446       try
 447       {
 448         score = Float.valueOf(gffColumns[6]).floatValue();
 449       } catch (NumberFormatException ex)
 450       {
 451         sf = new SequenceFeature(ft, desc, startPos, endPos, featureGroup);
 452       }
 453       sf = new SequenceFeature(ft, desc, startPos, endPos, score,
 454               featureGroup);
 455     }
 456     else
 457     {
 458       sf = new SequenceFeature(ft, desc, startPos, endPos, featureGroup);
 459     }
 460
 461     parseDescriptionHTML(sf, removeHTML);
 462
 463     seq.addSequenceFeature(sf);
 464
 465     while (seqId != null
 466             && (seq = alignment.findName(seq, seqId, false)) != null)
 467     {
 468       seq.addSequenceFeature(new SequenceFeature(sf));
 469     }
 470     return true;
 471   }
 472
 473   /**
 474    * clear any temporary handles used to speed up ID matching
 475    */
 476   protected void resetMatcher()
 477   {
 478     lastmatchedAl = null;
 479     matcher = null;
 480   }
 481
 482   /**
 483    * Returns a sequence matching the given id, as follows
 484    * <ul>
 485    * <li>strict matching is on exact sequence name</li>
 486    * <li>relaxed matching allows matching on a token within the sequence name,
 487    * or a dbxref</li>
 488    * <li>first tries to find a match in the alignment sequences</li>
 489    * <li>else tries to find a match in the new sequences already generated while
 490    * parsing the features file</li>
 491    * <li>else creates a new placeholder sequence, adds it to the new sequences
 492    * list, and returns it</li>
 493    * </ul>
 494    *
 495    * @param seqId
 496    * @param align
 497    * @param newseqs
 498    * @param relaxedIdMatching
 499    *
 500    * @return
 501    */
 502   protected SequenceI findSequence(String seqId, AlignmentI align,
 503           List<SequenceI> newseqs, boolean relaxedIdMatching)
 504   {
 505     // TODO encapsulate in SequenceIdMatcher, share the matcher
 506     // with the GffHelper (removing code duplication)
 507     SequenceI match = null;
 508     if (relaxedIdMatching)
 509     {
 510       if (lastmatchedAl != align)
 511       {
 512         lastmatchedAl = align;
 513         matcher = new SequenceIdMatcher(align.getSequencesArray());
 514         if (newseqs != null)
 515         {
 516           matcher.addAll(newseqs);
 517         }
 518       }
 519       match = matcher.findIdMatch(seqId);
 520     }
 521     else
 522     {
 523       match = align.findName(seqId, true);
 524       if (match == null && newseqs != null)
 525       {
 526         for (SequenceI m : newseqs)
 527         {
 528           if (seqId.equals(m.getName()))
 529           {
 530             return m;
 531           }
 532         }
 533       }
 534
 535     }
 536     if (match == null && newseqs != null)
 537     {
 538       match = new SequenceDummy(seqId);
 539       if (relaxedIdMatching)
 540       {
 541         matcher.addAll(Arrays.asList(new SequenceI[] { match }));
 542       }
 543       // add dummy sequence to the newseqs list
 544       newseqs.add(match);
 545     }
 546     return match;
 547   }
 548
 549   public void parseDescriptionHTML(SequenceFeature sf, boolean removeHTML)
 550   {
 551     if (sf.getDescription() == null)
 552     {
 553       return;
 554     }
 555     ParseHtmlBodyAndLinks parsed = new ParseHtmlBodyAndLinks(
 556             sf.getDescription(), removeHTML, newline);
 557
 558     if (removeHTML)
 559     {
 560       sf.setDescription(parsed.getNonHtmlContent());
 561     }
 562
 563     for (String link : parsed.getLinks())
 564     {
 565       sf.addLink(link);
 566     }
 567   }
 568
 569   /**
 570    * Returns contents of a Jalview format features file, for visible features, as
 571    * filtered by type and group. Features with a null group are displayed if their
 572    * feature type is visible. Non-positional features may optionally be included
 573    * (with no check on type or group).
 574    *
 575    * @param sequences
 576    * @param fr
 577    * @param includeNonPositional
 578    *                               if true, include non-positional features
 579    *                               (regardless of group or type)
 580    * @param includeComplement
 581    *                               if true, include visible complementary
 582    *                               (CDS/protein) positional features, with
 583    *                               locations converted to local sequence
 584    *                               coordinates
 585    * @return
 586    */
 587   public String printJalviewFormat(SequenceI[] sequences,
 588           FeatureRenderer fr, boolean includeNonPositional,
 589           boolean includeComplement)
 590   {
 591     Map<String, FeatureColourI> visibleColours = fr
 592             .getDisplayedFeatureCols();
 593     Map<String, FeatureMatcherSetI> featureFilters = fr.getFeatureFilters();
 594
 595     /*
 596      * write out feature colours (if we know them)
 597      */
 598     // TODO: decide if feature links should also be written here ?
 599     StringBuilder out = new StringBuilder(256);
 600     if (visibleColours != null)
 601     {
 602       for (Entry<String, FeatureColourI> featureColour : visibleColours
 603               .entrySet())
 604       {
 605         FeatureColourI colour = featureColour.getValue();
 606         out.append(colour.toJalviewFormat(featureColour.getKey())).append(
 607                 newline);
 608       }
 609     }
 610
 611     String[] types = visibleColours == null ? new String[0]
 612             : visibleColours.keySet()
 613                     .toArray(new String[visibleColours.keySet().size()]);
 614
 615     /*
 616      * feature filters if any
 617      */
 618     outputFeatureFilters(out, visibleColours, featureFilters);
 619
 620     /*
 621      * output features within groups
 622      */
 623     int count = outputFeaturesByGroup(out, fr, types, sequences,
 624             includeNonPositional);
 625
 626     if (includeComplement)
 627     {
 628       count += outputComplementFeatures(out, fr, sequences);
 629     }
 630
 631     return count > 0 ? out.toString() : "No Features Visible";
 632   }
 633
 634   /**
 635    * Outputs any visible complementary (CDS/peptide) positional features as
 636    * Jalview format, within feature group. The coordinates of the linked features
 637    * are converted to the corresponding positions of the local sequences.
 638    *
 639    * @param out
 640    * @param fr
 641    * @param sequences
 642    * @return
 643    */
 644   private int outputComplementFeatures(StringBuilder out,
 645           FeatureRenderer fr, SequenceI[] sequences)
 646   {
 647     AlignViewportI comp = fr.getViewport().getCodingComplement();
 648     FeatureRenderer fr2 = Desktop.getAlignFrameFor(comp)
 649             .getFeatureRenderer();
 650
 651     /*
 652      * bin features by feature group and sequence
 653      */
 654     Map<String, Map<String, List<SequenceFeature>>> map = new TreeMap<>(
 655             String.CASE_INSENSITIVE_ORDER);
 656     int count = 0;
 657
 658     for (SequenceI seq : sequences)
 659     {
 660       /*
 661        * find complementary features
 662        */
 663       List<SequenceFeature> complementary = findComplementaryFeatures(seq,
 664               fr2);
 665       String seqName = seq.getName();
 666
 667       for (SequenceFeature sf : complementary)
 668       {
 669         String group = sf.getFeatureGroup();
 670         if (!map.containsKey(group))
 671         {
 672           map.put(group, new LinkedHashMap<>()); // preserves sequence order
 673         }
 674         Map<String, List<SequenceFeature>> groupFeatures = map.get(group);
 675         if (!groupFeatures.containsKey(seqName))
 676         {
 677           groupFeatures.put(seqName, new ArrayList<>());
 678         }
 679         List<SequenceFeature> foundFeatures = groupFeatures.get(seqName);
 680         foundFeatures.add(sf);
 681         count++;
 682       }
 683     }
 684
 685     /*
 686      * output features by group
 687      */
 688     for (Entry<String, Map<String, List<SequenceFeature>>> groupFeatures : map.entrySet())
 689     {
 690       out.append(newline);
 691       String group = groupFeatures.getKey();
 692       if (!"".equals(group))
 693       {
 694         out.append(STARTGROUP).append(TAB).append(group).append(newline);
 695       }
 696       Map<String, List<SequenceFeature>> seqFeaturesMap = groupFeatures
 697               .getValue();
 698       for (Entry<String, List<SequenceFeature>> seqFeatures : seqFeaturesMap
 699               .entrySet())
 700       {
 701         String sequenceName = seqFeatures.getKey();
 702         for (SequenceFeature sf : seqFeatures.getValue())
 703         {
 704           formatJalviewFeature(out, sequenceName, sf);
 705         }
 706       }
 707       if (!"".equals(group))
 708       {
 709         out.append(ENDGROUP).append(TAB).append(group).append(newline);
 710       }
 711     }
 712
 713     return count;
 714   }
 715
 716   /**
 717    * Answers a list of mapped features visible in the (CDS/protein) complement,
 718    * with feature positions translated to local sequence coordinates
 719    *
 720    * @param seq
 721    * @param fr2
 722    * @return
 723    */
 724   protected List<SequenceFeature> findComplementaryFeatures(SequenceI seq,
 725           FeatureRenderer fr2)
 726   {
 727     /*
 728      * avoid duplication of features (e.g. peptide feature
 729      * at all 3 mapped codon positions)
 730      */
 731     List<SequenceFeature> found = new ArrayList<>();
 732     List<SequenceFeature> complementary = new ArrayList<>();
 733
 734     for (int pos = seq.getStart(); pos <= seq.getEnd(); pos++)
 735     {
 736       MappedFeatures mf = fr2.findComplementFeaturesAtResidue(seq, pos);
 737
 738       if (mf != null)
 739       {
 740         MapList mapping = mf.mapping.getMap();
 741         for (SequenceFeature sf : mf.features)
 742         {
 743           /*
 744            * make a virtual feature with local coordinates
 745            */
 746           if (!found.contains(sf))
 747           {
 748             String group = sf.getFeatureGroup();
 749             if (group == null)
 750             {
 751               group = "";
 752             }
 753             found.add(sf);
 754             int begin = sf.getBegin();
 755             int end = sf.getEnd();
 756             int[] range = mf.mapping.getTo() == seq.getDatasetSequence()
 757                     ? mapping.locateInTo(begin, end)
 758                     : mapping.locateInFrom(begin, end);
 759             SequenceFeature sf2 = new SequenceFeature(sf, range[0],
 760                     range[1], group, sf.getScore());
 761             complementary.add(sf2);
 762           }
 763         }
 764       }
 765     }
 766
 767     return complementary;
 768   }
 769
 770   /**
 771    * Outputs any feature filters defined for visible feature types, sandwiched by
 772    * STARTFILTERS and ENDFILTERS lines
 773    *
 774    * @param out
 775    * @param visible
 776    * @param featureFilters
 777    */
 778   void outputFeatureFilters(StringBuilder out,
 779           Map<String, FeatureColourI> visible,
 780           Map<String, FeatureMatcherSetI> featureFilters)
 781   {
 782     if (visible == null || featureFilters == null
 783             || featureFilters.isEmpty())
 784     {
 785       return;
 786     }
 787
 788     boolean first = true;
 789     for (String featureType : visible.keySet())
 790     {
 791       FeatureMatcherSetI filter = featureFilters.get(featureType);
 792       if (filter != null)
 793       {
 794         if (first)
 795         {
 796           first = false;
 797           out.append(newline).append(STARTFILTERS).append(newline);
 798         }
 799         out.append(featureType).append(TAB).append(filter.toStableString())
 800                 .append(newline);
 801       }
 802     }
 803     if (!first)
 804     {
 805       out.append(ENDFILTERS).append(newline);
 806     }
 807
 808   }
 809
 810   /**
 811    * Appends output of visible sequence features within feature groups to the
 812    * output buffer. Groups other than the null or empty group are sandwiched by
 813    * STARTGROUP and ENDGROUP lines. Answers the number of features written.
 814    *
 815    * @param out
 816    * @param fr
 817    * @param featureTypes
 818    * @param sequences
 819    * @param includeNonPositional
 820    * @return
 821    */
 822   private int outputFeaturesByGroup(StringBuilder out,
 823           FeatureRenderer fr, String[] featureTypes,
 824           SequenceI[] sequences, boolean includeNonPositional)
 825   {
 826     List<String> featureGroups = fr.getFeatureGroups();
 827
 828     /*
 829      * sort groups alphabetically, and ensure that features with a
 830      * null or empty group are output after those in named groups
 831      */
 832     List<String> sortedGroups = new ArrayList<>(featureGroups);
 833     sortedGroups.remove(null);
 834     sortedGroups.remove("");
 835     Collections.sort(sortedGroups);
 836     sortedGroups.add(null);
 837     sortedGroups.add("");
 838
 839     int count = 0;
 840     List<String> visibleGroups = fr.getDisplayedFeatureGroups();
 841
 842     /*
 843      * loop over all groups (may be visible or not);
 844      * non-positional features are output even if group is not visible
 845      */
 846     for (String group : sortedGroups)
 847     {
 848       boolean firstInGroup = true;
 849       boolean isNullGroup = group == null || "".equals(group);
 850
 851       for (int i = 0; i < sequences.length; i++)
 852       {
 853         String sequenceName = sequences[i].getName();
 854         List<SequenceFeature> features = new ArrayList<>();
 855
 856         /*
 857          * get any non-positional features in this group, if wanted
 858          * (for any feature type, whether visible or not)
 859          */
 860         if (includeNonPositional)
 861         {
 862           features.addAll(sequences[i].getFeatures()
 863                   .getFeaturesForGroup(false, group));
 864         }
 865
 866         /*
 867          * add positional features for visible feature types, but
 868          * (for named groups) only if feature group is visible
 869          */
 870         if (featureTypes.length > 0
 871                 && (isNullGroup || visibleGroups.contains(group)))
 872         {
 873           features.addAll(sequences[i].getFeatures().getFeaturesForGroup(
 874                   true, group, featureTypes));
 875         }
 876
 877         for (SequenceFeature sf : features)
 878         {
 879           if (sf.isNonPositional() || fr.isVisible(sf))
 880           {
 881             count++;
 882             if (firstInGroup)
 883             {
 884               out.append(newline);
 885               if (!isNullGroup)
 886               {
 887                 out.append(STARTGROUP).append(TAB).append(group)
 888                         .append(newline);
 889               }
 890             }
 891             firstInGroup = false;
 892             formatJalviewFeature(out, sequenceName, sf);
 893           }
 894         }
 895       }
 896
 897       if (!isNullGroup && !firstInGroup)
 898       {
 899         out.append(ENDGROUP).append(TAB).append(group).append(newline);
 900       }
 901     }
 902     return count;
 903   }
 904
 905   /**
 906    * Formats one feature in Jalview format and appends to the string buffer
 907    *
 908    * @param out
 909    * @param sequenceName
 910    * @param sequenceFeature
 911    */
 912   protected void formatJalviewFeature(
 913           StringBuilder out, String sequenceName,
 914           SequenceFeature sequenceFeature)
 915   {
 916     if (sequenceFeature.description == null
 917             || sequenceFeature.description.equals(""))
 918     {
 919       out.append(sequenceFeature.type).append(TAB);
 920     }
 921     else
 922     {
 923       if (sequenceFeature.links != null
 924               && sequenceFeature.getDescription().indexOf("<html>") == -1)
 925       {
 926         out.append("<html>");
 927       }
 928
 929       out.append(sequenceFeature.description);
 930       if (sequenceFeature.links != null)
 931       {
 932         for (int l = 0; l < sequenceFeature.links.size(); l++)
 933         {
 934           String label = sequenceFeature.links.elementAt(l);
 935           String href = label.substring(label.indexOf("|") + 1);
 936           label = label.substring(0, label.indexOf("|"));
 937
 938           if (sequenceFeature.description.indexOf(href) == -1)
 939           {
 940             out.append(" <a href=\"").append(href).append("\">")
 941                     .append(label).append("</a>");
 942           }
 943         }
 944
 945         if (sequenceFeature.getDescription().indexOf("</html>") == -1)
 946         {
 947           out.append("</html>");
 948         }
 949       }
 950
 951       out.append(TAB);
 952     }
 953     out.append(sequenceName);
 954     out.append("\t-1\t");
 955     out.append(sequenceFeature.begin);
 956     out.append(TAB);
 957     out.append(sequenceFeature.end);
 958     out.append(TAB);
 959     out.append(sequenceFeature.type);
 960     if (!Float.isNaN(sequenceFeature.score))
 961     {
 962       out.append(TAB);
 963       out.append(sequenceFeature.score);
 964     }
 965     out.append(newline);
 966   }
 967
 968   /**
 969    * Parse method that is called when a GFF file is dragged to the desktop
 970    */
 971   @Override
 972   public void parse()
 973   {
 974     AlignViewportI av = getViewport();
 975     if (av != null)
 976     {
 977       if (av.getAlignment() != null)
 978       {
 979         dataset = av.getAlignment().getDataset();
 980       }
 981       if (dataset == null)
 982       {
 983         // working in the applet context ?
 984         dataset = av.getAlignment();
 985       }
 986     }
 987     else
 988     {
 989       dataset = new Alignment(new SequenceI[] {});
 990     }
 991
 992     Map<String, FeatureColourI> featureColours = new HashMap<>();
 993     boolean parseResult = parse(dataset, featureColours, false, true);
 994     if (!parseResult)
 995     {
 996       // pass error up somehow
 997     }
 998     if (av != null)
 999     {
1000       // update viewport with the dataset data ?
1001     }
1002     else
1003     {
1004       setSeqs(dataset.getSequencesArray());
1005     }
1006   }
1007
1008   /**
1009    * Implementation of unused abstract method
1010    *
1011    * @return error message
1012    */
1013   @Override
1014   public String print(SequenceI[] sqs, boolean jvsuffix)
1015   {
1016     System.out.println("Use printGffFormat() or printJalviewFormat()");
1017     return null;
1018   }
1019
1020   /**
1021    * Returns features output in GFF2 format
1022    *
1023    * @param sequences
1024    *                                       the sequences whose features are to be
1025    *                                       output
1026    * @param visible
1027    *                                       a map whose keys are the type names of
1028    *                                       visible features
1029    * @param visibleFeatureGroups
1030    * @param includeNonPositionalFeatures
1031    * @param includeComplement
1032    * @return
1033    */
1034   public String printGffFormat(SequenceI[] sequences,
1035           FeatureRenderer fr, boolean includeNonPositionalFeatures,
1036           boolean includeComplement)
1037   {
1038     FeatureRenderer fr2 = null;
1039     if (includeComplement)
1040     {
1041       AlignViewportI comp = fr.getViewport().getCodingComplement();
1042       fr2 = Desktop.getAlignFrameFor(comp).getFeatureRenderer();
1043     }
1044
1045     Map<String, FeatureColourI> visibleColours = fr.getDisplayedFeatureCols();
1046
1047     StringBuilder out = new StringBuilder(256);
1048
1049     out.append(String.format("%s %d\n", GFF_VERSION, gffVersion == 0 ? 2 : gffVersion));
1050
1051     String[] types = visibleColours == null ? new String[0]
1052             : visibleColours.keySet()
1053                     .toArray(new String[visibleColours.keySet().size()]);
1054
1055     for (SequenceI seq : sequences)
1056     {
1057       List<SequenceFeature> seqFeatures = new ArrayList<>();
1058       List<SequenceFeature> features = new ArrayList<>();
1059       if (includeNonPositionalFeatures)
1060       {
1061         features.addAll(seq.getFeatures().getNonPositionalFeatures());
1062       }
1063       if (visibleColours != null && !visibleColours.isEmpty())
1064       {
1065         features.addAll(seq.getFeatures().getPositionalFeatures(types));
1066       }
1067       for (SequenceFeature sf : features)
1068       {
1069         if (sf.isNonPositional() || fr.isVisible(sf))
1070         {
1071           /*
1072            * drop features hidden by group visibility, colour threshold,
1073            * or feature filter condition
1074            */
1075           seqFeatures.add(sf);
1076         }
1077       }
1078
1079       if (includeComplement)
1080       {
1081         seqFeatures.addAll(findComplementaryFeatures(seq, fr2));
1082       }
1083
1084       /*
1085        * sort features here if wanted
1086        */
1087       for (SequenceFeature sf : seqFeatures)
1088       {
1089         formatGffFeature(out, seq, sf);
1090         out.append(newline);
1091       }
1092     }
1093
1094     return out.toString();
1095   }
1096
1097   /**
1098    * Formats one feature as GFF and appends to the string buffer
1099    */
1100   private void formatGffFeature(StringBuilder out, SequenceI seq,
1101           SequenceFeature sf)
1102   {
1103     String source = sf.featureGroup;
1104     if (source == null)
1105     {
1106       source = sf.getDescription();
1107     }
1108
1109     out.append(seq.getName());
1110     out.append(TAB);
1111     out.append(source);
1112     out.append(TAB);
1113     out.append(sf.type);
1114     out.append(TAB);
1115     out.append(sf.begin);
1116     out.append(TAB);
1117     out.append(sf.end);
1118     out.append(TAB);
1119     out.append(sf.score);
1120     out.append(TAB);
1121
1122     int strand = sf.getStrand();
1123     out.append(strand == 1 ? "+" : (strand == -1 ? "-" : "."));
1124     out.append(TAB);
1125
1126     String phase = sf.getPhase();
1127     out.append(phase == null ? "." : phase);
1128
1129     // miscellaneous key-values (GFF column 9)
1130     String attributes = sf.getAttributes();
1131     if (attributes != null)
1132     {
1133       out.append(TAB).append(attributes);
1134     }
1135   }
1136
1137   /**
1138    * Returns a mapping given list of one or more Align descriptors (exonerate
1139    * format)
1140    *
1141    * @param alignedRegions
1142    *          a list of "Align fromStart toStart fromCount"
1143    * @param mapIsFromCdna
1144    *          if true, 'from' is dna, else 'from' is protein
1145    * @param strand
1146    *          either 1 (forward) or -1 (reverse)
1147    * @return
1148    * @throws IOException
1149    */
1150   protected MapList constructCodonMappingFromAlign(
1151           List<String> alignedRegions, boolean mapIsFromCdna, int strand)
1152           throws IOException
1153   {
1154     if (strand == 0)
1155     {
1156       throw new IOException(
1157               "Invalid strand for a codon mapping (cannot be 0)");
1158     }
1159     int regions = alignedRegions.size();
1160     // arrays to hold [start, end] for each aligned region
1161     int[] fromRanges = new int[regions * 2]; // from dna
1162     int[] toRanges = new int[regions * 2]; // to protein
1163     int fromRangesIndex = 0;
1164     int toRangesIndex = 0;
1165
1166     for (String range : alignedRegions)
1167     {
1168       /*
1169        * Align mapFromStart mapToStart mapFromCount
1170        * e.g. if mapIsFromCdna
1171        *     Align 11270 143 120
1172        * means:
1173        *     120 bases from pos 11270 align to pos 143 in peptide
1174        * if !mapIsFromCdna this would instead be
1175        *     Align 143 11270 40
1176        */
1177       String[] tokens = range.split(" ");
1178       if (tokens.length != 3)
1179       {
1180         throw new IOException("Wrong number of fields for Align");
1181       }
1182       int fromStart = 0;
1183       int toStart = 0;
1184       int fromCount = 0;
1185       try
1186       {
1187         fromStart = Integer.parseInt(tokens[0]);
1188         toStart = Integer.parseInt(tokens[1]);
1189         fromCount = Integer.parseInt(tokens[2]);
1190       } catch (NumberFormatException nfe)
1191       {
1192         throw new IOException(
1193                 "Invalid number in Align field: " + nfe.getMessage());
1194       }
1195
1196       /*
1197        * Jalview always models from dna to protein, so adjust values if the
1198        * GFF mapping is from protein to dna
1199        */
1200       if (!mapIsFromCdna)
1201       {
1202         fromCount *= 3;
1203         int temp = fromStart;
1204         fromStart = toStart;
1205         toStart = temp;
1206       }
1207       fromRanges[fromRangesIndex++] = fromStart;
1208       fromRanges[fromRangesIndex++] = fromStart + strand * (fromCount - 1);
1209
1210       /*
1211        * If a codon has an intron gap, there will be contiguous 'toRanges';
1212        * this is handled for us by the MapList constructor.
1213        * (It is not clear that exonerate ever generates this case)
1214        */
1215       toRanges[toRangesIndex++] = toStart;
1216       toRanges[toRangesIndex++] = toStart + (fromCount - 1) / 3;
1217     }
1218
1219     return new MapList(fromRanges, toRanges, 3, 1);
1220   }
1221
1222   /**
1223    * Parse a GFF format feature. This may include creating a 'dummy' sequence to
1224    * hold the feature, or for its mapped sequence, or both, to be resolved
1225    * either later in the GFF file (##FASTA section), or when the user loads
1226    * additional sequences.
1227    *
1228    * @param gffColumns
1229    * @param alignment
1230    * @param relaxedIdMatching
1231    * @param newseqs
1232    * @return
1233    */
1234   protected SequenceI parseGff(String[] gffColumns, AlignmentI alignment,
1235           boolean relaxedIdMatching, List<SequenceI> newseqs)
1236   {
1237     /*
1238      * GFF: seqid source type start end score strand phase [attributes]
1239      */
1240     if (gffColumns.length < 5)
1241     {
1242       System.err.println("Ignoring GFF feature line with too few columns ("
1243               + gffColumns.length + ")");
1244       return null;
1245     }
1246
1247     /*
1248      * locate referenced sequence in alignment _or_
1249      * as a forward or external reference (SequenceDummy)
1250      */
1251     String seqId = gffColumns[0];
1252     SequenceI seq = findSequence(seqId, alignment, newseqs,
1253             relaxedIdMatching);
1254
1255     SequenceFeature sf = null;
1256     GffHelperI helper = GffHelperFactory.getHelper(gffColumns);
1257     if (helper != null)
1258     {
1259       try
1260       {
1261         sf = helper.processGff(seq, gffColumns, alignment, newseqs,
1262                 relaxedIdMatching);
1263         if (sf != null)
1264         {
1265           seq.addSequenceFeature(sf);
1266           while ((seq = alignment.findName(seq, seqId, true)) != null)
1267           {
1268             seq.addSequenceFeature(new SequenceFeature(sf));
1269           }
1270         }
1271       } catch (IOException e)
1272       {
1273         System.err.println("GFF parsing failed with: " + e.getMessage());
1274         return null;
1275       }
1276     }
1277
1278     return seq;
1279   }
1280
1281   /**
1282    * Process the 'column 9' data of the GFF file. This is less formally defined,
1283    * and its interpretation will vary depending on the tool that has generated
1284    * it.
1285    *
1286    * @param attributes
1287    * @param sf
1288    */
1289   protected void processGffColumnNine(String attributes, SequenceFeature sf)
1290   {
1291     sf.setAttributes(attributes);
1292
1293     /*
1294      * Parse attributes in column 9 and add them to the sequence feature's
1295      * 'otherData' table; use Note as a best proxy for description
1296      */
1297     char nameValueSeparator = gffVersion == 3 ? '=' : ' ';
1298     // TODO check we don't break GFF2 values which include commas here
1299     Map<String, List<String>> nameValues = GffHelperBase
1300             .parseNameValuePairs(attributes, ";", nameValueSeparator, ",");
1301     for (Entry<String, List<String>> attr : nameValues.entrySet())
1302     {
1303       String values = StringUtils.listToDelimitedString(attr.getValue(),
1304               "; ");
1305       sf.setValue(attr.getKey(), values);
1306       if (NOTE.equals(attr.getKey()))
1307       {
1308         sf.setDescription(values);
1309       }
1310     }
1311   }
1312
1313   /**
1314    * After encountering ##fasta in a GFF3 file, process the remainder of the
1315    * file as FAST sequence data. Any placeholder sequences created during
1316    * feature parsing are updated with the actual sequences.
1317    *
1318    * @param align
1319    * @param newseqs
1320    * @throws IOException
1321    */
1322   protected void processAsFasta(AlignmentI align, List<SequenceI> newseqs)
1323           throws IOException
1324   {
1325     try
1326     {
1327       mark();
1328     } catch (IOException q)
1329     {
1330     }
1331     FastaFile parser = new FastaFile(this);
1332     List<SequenceI> includedseqs = parser.getSeqs();
1333
1334     SequenceIdMatcher smatcher = new SequenceIdMatcher(newseqs);
1335
1336     /*
1337      * iterate over includedseqs, and replacing matching ones with newseqs
1338      * sequences. Generic iterator not used here because we modify
1339      * includedseqs as we go
1340      */
1341     for (int p = 0, pSize = includedseqs.size(); p < pSize; p++)
1342     {
1343       // search for any dummy seqs that this sequence can be used to update
1344       SequenceI includedSeq = includedseqs.get(p);
1345       SequenceI dummyseq = smatcher.findIdMatch(includedSeq);
1346       if (dummyseq != null && dummyseq instanceof SequenceDummy)
1347       {
1348         // probably have the pattern wrong
1349         // idea is that a flyweight proxy for a sequence ID can be created for
1350         // 1. stable reference creation
1351         // 2. addition of annotation
1352         // 3. future replacement by a real sequence
1353         // current pattern is to create SequenceDummy objects - a convenience
1354         // constructor for a Sequence.
1355         // problem is that when promoted to a real sequence, all references
1356         // need to be updated somehow. We avoid that by keeping the same object.
1357         ((SequenceDummy) dummyseq).become(includedSeq);
1358         dummyseq.createDatasetSequence();
1359
1360         /*
1361          * Update mappings so they are now to the dataset sequence
1362          */
1363         for (AlignedCodonFrame mapping : align.getCodonFrames())
1364         {
1365           mapping.updateToDataset(dummyseq);
1366         }
1367
1368         /*
1369          * replace parsed sequence with the realised forward reference
1370          */
1371         includedseqs.set(p, dummyseq);
1372
1373         /*
1374          * and remove from the newseqs list
1375          */
1376         newseqs.remove(dummyseq);
1377       }
1378     }
1379
1380     /*
1381      * finally add sequences to the dataset
1382      */
1383     for (SequenceI seq : includedseqs)
1384     {
1385       // experimental: mapping-based 'alignment' to query sequence
1386       AlignmentUtils.alignSequenceAs(seq, align,
1387               String.valueOf(align.getGapCharacter()), false, true);
1388
1389       // rename sequences if GFF handler requested this
1390       // TODO a more elegant way e.g. gffHelper.postProcess(newseqs) ?
1391       List<SequenceFeature> sfs = seq.getFeatures().getPositionalFeatures();
1392       if (!sfs.isEmpty())
1393       {
1394         String newName = (String) sfs.get(0).getValue(
1395                 GffHelperI.RENAME_TOKEN);
1396         if (newName != null)
1397         {
1398           seq.setName(newName);
1399         }
1400       }
1401       align.addSequence(seq);
1402     }
1403   }
1404
1405   /**
1406    * Process a ## directive
1407    *
1408    * @param line
1409    * @param gffProps
1410    * @param align
1411    * @param newseqs
1412    * @throws IOException
1413    */
1414   protected void processGffPragma(String line, Map<String, String> gffProps,
1415           AlignmentI align, List<SequenceI> newseqs) throws IOException
1416   {
1417     line = line.trim();
1418     if ("###".equals(line))
1419     {
1420       // close off any open 'forward references'
1421       return;
1422     }
1423
1424     String[] tokens = line.substring(2).split(" ");
1425     String pragma = tokens[0];
1426     String value = tokens.length == 1 ? null : tokens[1];
1427
1428     if ("gff-version".equalsIgnoreCase(pragma))
1429     {
1430       if (value != null)
1431       {
1432         try
1433         {
1434           // value may be e.g. "3.1.2"
1435           gffVersion = Integer.parseInt(value.split("\\.")[0]);
1436         } catch (NumberFormatException e)
1437         {
1438           // ignore
1439         }
1440       }
1441     }
1442     else if ("sequence-region".equalsIgnoreCase(pragma))
1443     {
1444       // could capture <seqid start end> if wanted here
1445     }
1446     else if ("feature-ontology".equalsIgnoreCase(pragma))
1447     {
1448       // should resolve against the specified feature ontology URI
1449     }
1450     else if ("attribute-ontology".equalsIgnoreCase(pragma))
1451     {
1452       // URI of attribute ontology - not currently used in GFF3
1453     }
1454     else if ("source-ontology".equalsIgnoreCase(pragma))
1455     {
1456       // URI of source ontology - not currently used in GFF3
1457     }
1458     else if ("species-build".equalsIgnoreCase(pragma))
1459     {
1460       // save URI of specific NCBI taxon version of annotations
1461       gffProps.put("species-build", value);
1462     }
1463     else if ("fasta".equalsIgnoreCase(pragma))
1464     {
1465       // process the rest of the file as a fasta file and replace any dummy
1466       // sequence IDs
1467       processAsFasta(align, newseqs);
1468     }
1469     else
1470     {
1471       System.err.println("Ignoring unknown pragma: " + line);
1472     }
1473   }
1474 }