src/jalview/io/FeaturesFile.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.io;
  22
  23 import java.awt.Color;
  24 import java.io.IOException;
  25 import java.util.ArrayList;
  26 import java.util.Arrays;
  27 import java.util.Collections;
  28 import java.util.HashMap;
  29 import java.util.LinkedHashMap;
  30 import java.util.List;
  31 import java.util.Map;
  32 import java.util.Map.Entry;
  33 import java.util.TreeMap;
  34
  35 import jalview.analysis.AlignmentUtils;
  36 import jalview.analysis.SequenceIdMatcher;
  37 import jalview.api.AlignViewportI;
  38 import jalview.api.FeatureColourI;
  39 import jalview.api.FeatureRenderer;
  40 import jalview.api.FeaturesSourceI;
  41 import jalview.datamodel.AlignedCodonFrame;
  42 import jalview.datamodel.Alignment;
  43 import jalview.datamodel.AlignmentI;
  44 import jalview.datamodel.MappedFeatures;
  45 import jalview.datamodel.SequenceDummy;
  46 import jalview.datamodel.SequenceFeature;
  47 import jalview.datamodel.SequenceI;
  48 import jalview.datamodel.features.FeatureMatcherSet;
  49 import jalview.datamodel.features.FeatureMatcherSetI;
  50 import jalview.gui.Desktop;
  51 import jalview.io.gff.GffHelperFactory;
  52 import jalview.io.gff.GffHelperI;
  53 import jalview.schemes.FeatureColour;
  54 import jalview.util.ColorUtils;
  55 import jalview.util.MapList;
  56 import jalview.util.ParseHtmlBodyAndLinks;
  57 import jalview.util.StringUtils;
  58
  59 /**
  60  * Parses and writes features files, which may be in Jalview, GFF2 or GFF3
  61  * format. These are tab-delimited formats but with differences in the use of
  62  * columns.
  63  *
  64  * A Jalview feature file may define feature colours and then declare that the
  65  * remainder of the file is in GFF format with the line 'GFF'.
  66  *
  67  * GFF3 files may include alignment mappings for features, which Jalview will
  68  * attempt to model, and may include sequence data following a ##FASTA line.
  69  *
  70  *
  71  * @author AMW
  72  * @author jbprocter
  73  * @author gmcarstairs
  74  */
  75 public class FeaturesFile extends AlignFile implements FeaturesSourceI
  76 {
  77   private static final String EQUALS = "=";
  78
  79   private static final String TAB_REGEX = "\\t";
  80
  81   private static final String STARTGROUP = "STARTGROUP";
  82
  83   private static final String ENDGROUP = "ENDGROUP";
  84
  85   private static final String STARTFILTERS = "STARTFILTERS";
  86
  87   private static final String ENDFILTERS = "ENDFILTERS";
  88
  89   private static final String ID_NOT_SPECIFIED = "ID_NOT_SPECIFIED";
  90
  91   protected static final String GFF_VERSION = "##gff-version";
  92
  93   private AlignmentI lastmatchedAl = null;
  94
  95   private SequenceIdMatcher matcher = null;
  96
  97   protected AlignmentI dataset;
  98
  99   protected int gffVersion;
 100
 101   /**
 102    * Creates a new FeaturesFile object.
 103    */
 104   public FeaturesFile()
 105   {
 106   }
 107
 108   /**
 109    * Constructor which does not parse the file immediately
 110    *
 111    * @param file
 112    * @param paste
 113    * @throws IOException
 114    */
 115   public FeaturesFile(String file, DataSourceType paste)
 116           throws IOException
 117   {
 118     super(false, file, paste);
 119   }
 120
 121   /**
 122    * @param source
 123    * @throws IOException
 124    */
 125   public FeaturesFile(FileParse source) throws IOException
 126   {
 127     super(source);
 128   }
 129
 130   /**
 131    * Constructor that optionally parses the file immediately
 132    *
 133    * @param parseImmediately
 134    * @param file
 135    * @param type
 136    * @throws IOException
 137    */
 138   public FeaturesFile(boolean parseImmediately, String file,
 139           DataSourceType type) throws IOException
 140   {
 141     super(parseImmediately, file, type);
 142   }
 143
 144   /**
 145    * Parse GFF or sequence features file using case-independent matching,
 146    * discarding URLs
 147    *
 148    * @param align
 149    *          - alignment/dataset containing sequences that are to be annotated
 150    * @param colours
 151    *          - hashtable to store feature colour definitions
 152    * @param removeHTML
 153    *          - process html strings into plain text
 154    * @return true if features were added
 155    */
 156   public boolean parse(AlignmentI align,
 157           Map<String, FeatureColourI> colours, boolean removeHTML)
 158   {
 159     return parse(align, colours, removeHTML, false);
 160   }
 161
 162   /**
 163    * Extends the default addProperties by also adding peptide-to-cDNA mappings
 164    * (if any) derived while parsing a GFF file
 165    */
 166   @Override
 167   public void addProperties(AlignmentI al)
 168   {
 169     super.addProperties(al);
 170     if (dataset != null && dataset.getCodonFrames() != null)
 171     {
 172       AlignmentI ds = (al.getDataset() == null) ? al : al.getDataset();
 173       for (AlignedCodonFrame codons : dataset.getCodonFrames())
 174       {
 175         ds.addCodonFrame(codons);
 176       }
 177     }
 178   }
 179
 180   /**
 181    * Parse GFF or Jalview format sequence features file
 182    *
 183    * @param align
 184    *          - alignment/dataset containing sequences that are to be annotated
 185    * @param colours
 186    *          - map to store feature colour definitions
 187    * @param removeHTML
 188    *          - process html strings into plain text
 189    * @param relaxedIdmatching
 190    *          - when true, ID matches to compound sequence IDs are allowed
 191    * @return true if features were added
 192    */
 193   public boolean parse(AlignmentI align,
 194           Map<String, FeatureColourI> colours, boolean removeHTML,
 195           boolean relaxedIdmatching)
 196   {
 197     return parse(align, colours, null, removeHTML, relaxedIdmatching);
 198   }
 199
 200   /**
 201    * Parse GFF or Jalview format sequence features file
 202    *
 203    * @param align
 204    *          - alignment/dataset containing sequences that are to be annotated
 205    * @param colours
 206    *          - map to store feature colour definitions
 207    * @param filters
 208    *          - map to store feature filter definitions
 209    * @param removeHTML
 210    *          - process html strings into plain text
 211    * @param relaxedIdmatching
 212    *          - when true, ID matches to compound sequence IDs are allowed
 213    * @return true if features were added
 214    */
 215   public boolean parse(AlignmentI align,
 216           Map<String, FeatureColourI> colours,
 217           Map<String, FeatureMatcherSetI> filters, boolean removeHTML,
 218           boolean relaxedIdmatching)
 219   {
 220     Map<String, String> gffProps = new HashMap<>();
 221     /*
 222      * keep track of any sequences we try to create from the data
 223      */
 224     List<SequenceI> newseqs = new ArrayList<>();
 225
 226     String line = null;
 227     try
 228     {
 229       String[] gffColumns;
 230       String featureGroup = null;
 231
 232       while ((line = nextLine()) != null)
 233       {
 234         // skip comments/process pragmas
 235         if (line.length() == 0 || line.startsWith("#"))
 236         {
 237           if (line.toLowerCase().startsWith("##"))
 238           {
 239             processGffPragma(line, gffProps, align, newseqs);
 240           }
 241           continue;
 242         }
 243
 244         gffColumns = line.split(TAB_REGEX);
 245         if (gffColumns.length == 1)
 246         {
 247           if (line.trim().equalsIgnoreCase("GFF"))
 248           {
 249             /*
 250              * Jalview features file with appended GFF
 251              * assume GFF2 (though it may declare ##gff-version 3)
 252              */
 253             gffVersion = 2;
 254             continue;
 255           }
 256         }
 257
 258         if (gffColumns.length > 0 && gffColumns.length < 4)
 259         {
 260           /*
 261            * if 2 or 3 tokens, we anticipate either 'startgroup', 'endgroup' or
 262            * a feature type colour specification
 263            */
 264           String ft = gffColumns[0];
 265           if (ft.equalsIgnoreCase(STARTFILTERS))
 266           {
 267             parseFilters(filters);
 268             continue;
 269           }
 270           if (ft.equalsIgnoreCase(STARTGROUP))
 271           {
 272             featureGroup = gffColumns[1];
 273           }
 274           else if (ft.equalsIgnoreCase(ENDGROUP))
 275           {
 276             // We should check whether this is the current group,
 277             // but at present there's no way of showing more than 1 group
 278             featureGroup = null;
 279           }
 280           else
 281           {
 282             String colscheme = gffColumns[1];
 283             FeatureColourI colour = FeatureColour
 284                     .parseJalviewFeatureColour(colscheme);
 285             if (colour != null)
 286             {
 287               colours.put(ft, colour);
 288             }
 289           }
 290           continue;
 291         }
 292
 293         /*
 294          * if not a comment, GFF pragma, startgroup, endgroup or feature
 295          * colour specification, that just leaves a feature details line
 296          * in either Jalview or GFF format
 297          */
 298         if (gffVersion == 0)
 299         {
 300           parseJalviewFeature(line, gffColumns, align, colours, removeHTML,
 301                   relaxedIdmatching, featureGroup);
 302         }
 303         else
 304         {
 305           parseGff(gffColumns, align, relaxedIdmatching, newseqs);
 306         }
 307       }
 308       resetMatcher();
 309     } catch (Exception ex)
 310     {
 311       // should report somewhere useful for UI if necessary
 312       warningMessage = ((warningMessage == null) ? "" : warningMessage)
 313               + "Parsing error at\n" + line;
 314       System.out.println("Error parsing feature file: " + ex + "\n" + line);
 315       ex.printStackTrace(System.err);
 316       resetMatcher();
 317       return false;
 318     }
 319
 320     /*
 321      * experimental - add any dummy sequences with features to the alignment
 322      * - we need them for Ensembl feature extraction - though maybe not otherwise
 323      */
 324     for (SequenceI newseq : newseqs)
 325     {
 326       if (newseq.getFeatures().hasFeatures())
 327       {
 328         align.addSequence(newseq);
 329       }
 330     }
 331     return true;
 332   }
 333
 334   /**
 335    * Reads input lines from STARTFILTERS to ENDFILTERS and adds a feature type
 336    * filter to the map for each line parsed. After exit from this method,
 337    * nextLine() should return the line after ENDFILTERS (or we are already at
 338    * end of file if ENDFILTERS was missing).
 339    *
 340    * @param filters
 341    * @throws IOException
 342    */
 343   protected void parseFilters(Map<String, FeatureMatcherSetI> filters)
 344           throws IOException
 345   {
 346     String line;
 347     while ((line = nextLine()) != null)
 348     {
 349       if (line.toUpperCase().startsWith(ENDFILTERS))
 350       {
 351         return;
 352       }
 353       String[] tokens = line.split(TAB_REGEX);
 354       if (tokens.length != 2)
 355       {
 356         System.err.println(String.format("Invalid token count %d for %d",
 357                 tokens.length, line));
 358       }
 359       else
 360       {
 361         String featureType = tokens[0];
 362         FeatureMatcherSetI fm = FeatureMatcherSet.fromString(tokens[1]);
 363         if (fm != null && filters != null)
 364         {
 365           filters.put(featureType, fm);
 366         }
 367       }
 368     }
 369   }
 370
 371   /**
 372    * Try to parse a Jalview format feature specification and add it as a
 373    * sequence feature to any matching sequences in the alignment. Returns true
 374    * if successful (a feature was added), or false if not.
 375    *
 376    * @param line
 377    * @param gffColumns
 378    * @param alignment
 379    * @param featureColours
 380    * @param removeHTML
 381    * @param relaxedIdmatching
 382    * @param featureGroup
 383    */
 384   protected boolean parseJalviewFeature(String line, String[] gffColumns,
 385           AlignmentI alignment, Map<String, FeatureColourI> featureColours,
 386           boolean removeHTML, boolean relaxedIdMatching,
 387           String featureGroup)
 388   {
 389     /*
 390      * tokens: description seqid seqIndex start end type [score]
 391      */
 392     if (gffColumns.length < 6)
 393     {
 394       System.err.println("Ignoring feature line '" + line
 395               + "' with too few columns (" + gffColumns.length + ")");
 396       return false;
 397     }
 398     String desc = gffColumns[0];
 399     String seqId = gffColumns[1];
 400     SequenceI seq = findSequence(seqId, alignment, null, relaxedIdMatching);
 401
 402     if (!ID_NOT_SPECIFIED.equals(seqId))
 403     {
 404       seq = findSequence(seqId, alignment, null, relaxedIdMatching);
 405     }
 406     else
 407     {
 408       seqId = null;
 409       seq = null;
 410       String seqIndex = gffColumns[2];
 411       try
 412       {
 413         int idx = Integer.parseInt(seqIndex);
 414         seq = alignment.getSequenceAt(idx);
 415       } catch (NumberFormatException ex)
 416       {
 417         System.err.println("Invalid sequence index: " + seqIndex);
 418       }
 419     }
 420
 421     if (seq == null)
 422     {
 423       System.out.println("Sequence not found: " + line);
 424       return false;
 425     }
 426
 427     int startPos = Integer.parseInt(gffColumns[3]);
 428     int endPos = Integer.parseInt(gffColumns[4]);
 429
 430     String ft = gffColumns[5];
 431
 432     if (!featureColours.containsKey(ft))
 433     {
 434       /*
 435        * Perhaps an old style groups file with no colours -
 436        * synthesize a colour from the feature type
 437        */
 438       Color colour = ColorUtils.createColourFromName(ft);
 439       featureColours.put(ft, new FeatureColour(colour));
 440     }
 441     SequenceFeature sf = null;
 442     if (gffColumns.length > 6)
 443     {
 444       float score = Float.NaN;
 445       try
 446       {
 447         score = Float.valueOf(gffColumns[6]).floatValue();
 448       } catch (NumberFormatException ex)
 449       {
 450         sf = new SequenceFeature(ft, desc, startPos, endPos, featureGroup);
 451       }
 452       sf = new SequenceFeature(ft, desc, startPos, endPos, score,
 453               featureGroup);
 454     }
 455     else
 456     {
 457       sf = new SequenceFeature(ft, desc, startPos, endPos, featureGroup);
 458     }
 459
 460     parseDescriptionHTML(sf, removeHTML);
 461
 462     seq.addSequenceFeature(sf);
 463
 464     while (seqId != null
 465             && (seq = alignment.findName(seq, seqId, false)) != null)
 466     {
 467       seq.addSequenceFeature(new SequenceFeature(sf));
 468     }
 469     return true;
 470   }
 471
 472   /**
 473    * clear any temporary handles used to speed up ID matching
 474    */
 475   protected void resetMatcher()
 476   {
 477     lastmatchedAl = null;
 478     matcher = null;
 479   }
 480
 481   /**
 482    * Returns a sequence matching the given id, as follows
 483    * <ul>
 484    * <li>strict matching is on exact sequence name</li>
 485    * <li>relaxed matching allows matching on a token within the sequence name,
 486    * or a dbxref</li>
 487    * <li>first tries to find a match in the alignment sequences</li>
 488    * <li>else tries to find a match in the new sequences already generated while
 489    * parsing the features file</li>
 490    * <li>else creates a new placeholder sequence, adds it to the new sequences
 491    * list, and returns it</li>
 492    * </ul>
 493    *
 494    * @param seqId
 495    * @param align
 496    * @param newseqs
 497    * @param relaxedIdMatching
 498    *
 499    * @return
 500    */
 501   protected SequenceI findSequence(String seqId, AlignmentI align,
 502           List<SequenceI> newseqs, boolean relaxedIdMatching)
 503   {
 504     // TODO encapsulate in SequenceIdMatcher, share the matcher
 505     // with the GffHelper (removing code duplication)
 506     SequenceI match = null;
 507     if (relaxedIdMatching)
 508     {
 509       if (lastmatchedAl != align)
 510       {
 511         lastmatchedAl = align;
 512         matcher = new SequenceIdMatcher(align.getSequencesArray());
 513         if (newseqs != null)
 514         {
 515           matcher.addAll(newseqs);
 516         }
 517       }
 518       match = matcher.findIdMatch(seqId);
 519     }
 520     else
 521     {
 522       match = align.findName(seqId, true);
 523       if (match == null && newseqs != null)
 524       {
 525         for (SequenceI m : newseqs)
 526         {
 527           if (seqId.equals(m.getName()))
 528           {
 529             return m;
 530           }
 531         }
 532       }
 533
 534     }
 535     if (match == null && newseqs != null)
 536     {
 537       match = new SequenceDummy(seqId);
 538       if (relaxedIdMatching)
 539       {
 540         matcher.addAll(Arrays.asList(new SequenceI[] { match }));
 541       }
 542       // add dummy sequence to the newseqs list
 543       newseqs.add(match);
 544     }
 545     return match;
 546   }
 547
 548   public void parseDescriptionHTML(SequenceFeature sf, boolean removeHTML)
 549   {
 550     if (sf.getDescription() == null)
 551     {
 552       return;
 553     }
 554     ParseHtmlBodyAndLinks parsed = new ParseHtmlBodyAndLinks(
 555             sf.getDescription(), removeHTML, newline);
 556
 557     if (removeHTML)
 558     {
 559       sf.setDescription(parsed.getNonHtmlContent());
 560     }
 561
 562     for (String link : parsed.getLinks())
 563     {
 564       sf.addLink(link);
 565     }
 566   }
 567
 568   /**
 569    * Returns contents of a Jalview format features file, for visible features, as
 570    * filtered by type and group. Features with a null group are displayed if their
 571    * feature type is visible. Non-positional features may optionally be included
 572    * (with no check on type or group).
 573    *
 574    * @param sequences
 575    * @param fr
 576    * @param includeNonPositional
 577    *                               if true, include non-positional features
 578    *                               (regardless of group or type)
 579    * @param includeComplement
 580    *                               if true, include visible complementary
 581    *                               (CDS/protein) positional features, with
 582    *                               locations converted to local sequence
 583    *                               coordinates
 584    * @return
 585    */
 586   public String printJalviewFormat(SequenceI[] sequences,
 587           FeatureRenderer fr, boolean includeNonPositional,
 588           boolean includeComplement)
 589   {
 590     Map<String, FeatureColourI> visibleColours = fr
 591             .getDisplayedFeatureCols();
 592     Map<String, FeatureMatcherSetI> featureFilters = fr.getFeatureFilters();
 593
 594     /*
 595      * write out feature colours (if we know them)
 596      */
 597     // TODO: decide if feature links should also be written here ?
 598     StringBuilder out = new StringBuilder(256);
 599     if (visibleColours != null)
 600     {
 601       for (Entry<String, FeatureColourI> featureColour : visibleColours
 602               .entrySet())
 603       {
 604         FeatureColourI colour = featureColour.getValue();
 605         out.append(colour.toJalviewFormat(featureColour.getKey())).append(
 606                 newline);
 607       }
 608     }
 609
 610     String[] types = visibleColours == null ? new String[0]
 611             : visibleColours.keySet()
 612                     .toArray(new String[visibleColours.keySet().size()]);
 613
 614     /*
 615      * feature filters if any
 616      */
 617     outputFeatureFilters(out, visibleColours, featureFilters);
 618
 619     /*
 620      * output features within groups
 621      */
 622     int count = outputFeaturesByGroup(out, fr, types, sequences,
 623             includeNonPositional);
 624
 625     if (includeComplement)
 626     {
 627       count += outputComplementFeatures(out, fr, sequences);
 628     }
 629
 630     return count > 0 ? out.toString() : "No Features Visible";
 631   }
 632
 633   /**
 634    * Outputs any visible complementary (CDS/peptide) positional features as
 635    * Jalview format, within feature group. The coordinates of the linked features
 636    * are converted to the corresponding positions of the local sequences.
 637    *
 638    * @param out
 639    * @param fr
 640    * @param sequences
 641    * @return
 642    */
 643   private int outputComplementFeatures(StringBuilder out,
 644           FeatureRenderer fr, SequenceI[] sequences)
 645   {
 646     AlignViewportI comp = fr.getViewport().getCodingComplement();
 647     FeatureRenderer fr2 = Desktop.getAlignFrameFor(comp)
 648             .getFeatureRenderer();
 649
 650     /*
 651      * bin features by feature group and sequence
 652      */
 653     Map<String, Map<String, List<SequenceFeature>>> map = new TreeMap<>(
 654             String.CASE_INSENSITIVE_ORDER);
 655     int count = 0;
 656
 657     for (SequenceI seq : sequences)
 658     {
 659       /*
 660        * find complementary features
 661        */
 662       List<SequenceFeature> complementary = findComplementaryFeatures(seq,
 663               fr2);
 664       String seqName = seq.getName();
 665
 666       for (SequenceFeature sf : complementary)
 667       {
 668         String group = sf.getFeatureGroup();
 669         if (!map.containsKey(group))
 670         {
 671           map.put(group, new LinkedHashMap<>()); // preserves sequence order
 672         }
 673         Map<String, List<SequenceFeature>> groupFeatures = map.get(group);
 674         if (!groupFeatures.containsKey(seqName))
 675         {
 676           groupFeatures.put(seqName, new ArrayList<>());
 677         }
 678         List<SequenceFeature> foundFeatures = groupFeatures.get(seqName);
 679         foundFeatures.add(sf);
 680         count++;
 681       }
 682     }
 683
 684     /*
 685      * output features by group
 686      */
 687     for (Entry<String, Map<String, List<SequenceFeature>>> groupFeatures : map.entrySet())
 688     {
 689       out.append(newline);
 690       String group = groupFeatures.getKey();
 691       if (!"".equals(group))
 692       {
 693         out.append(STARTGROUP).append(TAB).append(group).append(newline);
 694       }
 695       Map<String, List<SequenceFeature>> seqFeaturesMap = groupFeatures
 696               .getValue();
 697       for (Entry<String, List<SequenceFeature>> seqFeatures : seqFeaturesMap
 698               .entrySet())
 699       {
 700         String sequenceName = seqFeatures.getKey();
 701         for (SequenceFeature sf : seqFeatures.getValue())
 702         {
 703           formatJalviewFeature(out, sequenceName, sf);
 704         }
 705       }
 706       if (!"".equals(group))
 707       {
 708         out.append(ENDGROUP).append(TAB).append(group).append(newline);
 709       }
 710     }
 711
 712     return count;
 713   }
 714
 715   /**
 716    * Answers a list of mapped features visible in the (CDS/protein) complement,
 717    * with feature positions translated to local sequence coordinates
 718    *
 719    * @param seq
 720    * @param fr2
 721    * @return
 722    */
 723   protected List<SequenceFeature> findComplementaryFeatures(SequenceI seq,
 724           FeatureRenderer fr2)
 725   {
 726     /*
 727      * avoid duplication of features (e.g. peptide feature
 728      * at all 3 mapped codon positions)
 729      */
 730     List<SequenceFeature> found = new ArrayList<>();
 731     List<SequenceFeature> complementary = new ArrayList<>();
 732
 733     for (int pos = seq.getStart(); pos <= seq.getEnd(); pos++)
 734     {
 735       MappedFeatures mf = fr2.findComplementFeaturesAtResidue(seq, pos);
 736
 737       if (mf != null)
 738       {
 739         for (SequenceFeature sf : mf.features)
 740         {
 741           /*
 742            * make a virtual feature with local coordinates
 743            */
 744           if (!found.contains(sf))
 745           {
 746             String group = sf.getFeatureGroup();
 747             if (group == null)
 748             {
 749               group = "";
 750             }
 751             found.add(sf);
 752             int begin = sf.getBegin();
 753             int end = sf.getEnd();
 754             int[] range = mf.getMappedPositions(begin, end);
 755             SequenceFeature sf2 = new SequenceFeature(sf, range[0],
 756                     range[1], group, sf.getScore());
 757             complementary.add(sf2);
 758           }
 759         }
 760       }
 761     }
 762
 763     return complementary;
 764   }
 765
 766   /**
 767    * Outputs any feature filters defined for visible feature types, sandwiched by
 768    * STARTFILTERS and ENDFILTERS lines
 769    *
 770    * @param out
 771    * @param visible
 772    * @param featureFilters
 773    */
 774   void outputFeatureFilters(StringBuilder out,
 775           Map<String, FeatureColourI> visible,
 776           Map<String, FeatureMatcherSetI> featureFilters)
 777   {
 778     if (visible == null || featureFilters == null
 779             || featureFilters.isEmpty())
 780     {
 781       return;
 782     }
 783
 784     boolean first = true;
 785     for (String featureType : visible.keySet())
 786     {
 787       FeatureMatcherSetI filter = featureFilters.get(featureType);
 788       if (filter != null)
 789       {
 790         if (first)
 791         {
 792           first = false;
 793           out.append(newline).append(STARTFILTERS).append(newline);
 794         }
 795         out.append(featureType).append(TAB).append(filter.toStableString())
 796                 .append(newline);
 797       }
 798     }
 799     if (!first)
 800     {
 801       out.append(ENDFILTERS).append(newline);
 802     }
 803
 804   }
 805
 806   /**
 807    * Appends output of visible sequence features within feature groups to the
 808    * output buffer. Groups other than the null or empty group are sandwiched by
 809    * STARTGROUP and ENDGROUP lines. Answers the number of features written.
 810    *
 811    * @param out
 812    * @param fr
 813    * @param featureTypes
 814    * @param sequences
 815    * @param includeNonPositional
 816    * @return
 817    */
 818   private int outputFeaturesByGroup(StringBuilder out,
 819           FeatureRenderer fr, String[] featureTypes,
 820           SequenceI[] sequences, boolean includeNonPositional)
 821   {
 822     List<String> featureGroups = fr.getFeatureGroups();
 823
 824     /*
 825      * sort groups alphabetically, and ensure that features with a
 826      * null or empty group are output after those in named groups
 827      */
 828     List<String> sortedGroups = new ArrayList<>(featureGroups);
 829     sortedGroups.remove(null);
 830     sortedGroups.remove("");
 831     Collections.sort(sortedGroups);
 832     sortedGroups.add(null);
 833     sortedGroups.add("");
 834
 835     int count = 0;
 836     List<String> visibleGroups = fr.getDisplayedFeatureGroups();
 837
 838     /*
 839      * loop over all groups (may be visible or not);
 840      * non-positional features are output even if group is not visible
 841      */
 842     for (String group : sortedGroups)
 843     {
 844       boolean firstInGroup = true;
 845       boolean isNullGroup = group == null || "".equals(group);
 846
 847       for (int i = 0; i < sequences.length; i++)
 848       {
 849         String sequenceName = sequences[i].getName();
 850         List<SequenceFeature> features = new ArrayList<>();
 851
 852         /*
 853          * get any non-positional features in this group, if wanted
 854          * (for any feature type, whether visible or not)
 855          */
 856         if (includeNonPositional)
 857         {
 858           features.addAll(sequences[i].getFeatures()
 859                   .getFeaturesForGroup(false, group));
 860         }
 861
 862         /*
 863          * add positional features for visible feature types, but
 864          * (for named groups) only if feature group is visible
 865          */
 866         if (featureTypes.length > 0
 867                 && (isNullGroup || visibleGroups.contains(group)))
 868         {
 869           features.addAll(sequences[i].getFeatures().getFeaturesForGroup(
 870                   true, group, featureTypes));
 871         }
 872
 873         for (SequenceFeature sf : features)
 874         {
 875           if (sf.isNonPositional() || fr.isVisible(sf))
 876           {
 877             count++;
 878             if (firstInGroup)
 879             {
 880               out.append(newline);
 881               if (!isNullGroup)
 882               {
 883                 out.append(STARTGROUP).append(TAB).append(group)
 884                         .append(newline);
 885               }
 886             }
 887             firstInGroup = false;
 888             formatJalviewFeature(out, sequenceName, sf);
 889           }
 890         }
 891       }
 892
 893       if (!isNullGroup && !firstInGroup)
 894       {
 895         out.append(ENDGROUP).append(TAB).append(group).append(newline);
 896       }
 897     }
 898     return count;
 899   }
 900
 901   /**
 902    * Formats one feature in Jalview format and appends to the string buffer
 903    *
 904    * @param out
 905    * @param sequenceName
 906    * @param sequenceFeature
 907    */
 908   protected void formatJalviewFeature(
 909           StringBuilder out, String sequenceName,
 910           SequenceFeature sequenceFeature)
 911   {
 912     if (sequenceFeature.description == null
 913             || sequenceFeature.description.equals(""))
 914     {
 915       out.append(sequenceFeature.type).append(TAB);
 916     }
 917     else
 918     {
 919       if (sequenceFeature.links != null
 920               && sequenceFeature.getDescription().indexOf("<html>") == -1)
 921       {
 922         out.append("<html>");
 923       }
 924
 925       out.append(sequenceFeature.description);
 926       if (sequenceFeature.links != null)
 927       {
 928         for (int l = 0; l < sequenceFeature.links.size(); l++)
 929         {
 930           String label = sequenceFeature.links.elementAt(l);
 931           String href = label.substring(label.indexOf("|") + 1);
 932           label = label.substring(0, label.indexOf("|"));
 933
 934           if (sequenceFeature.description.indexOf(href) == -1)
 935           {
 936             out.append(" <a href=\"").append(href).append("\">")
 937                     .append(label).append("</a>");
 938           }
 939         }
 940
 941         if (sequenceFeature.getDescription().indexOf("</html>") == -1)
 942         {
 943           out.append("</html>");
 944         }
 945       }
 946
 947       out.append(TAB);
 948     }
 949     out.append(sequenceName);
 950     out.append("\t-1\t");
 951     out.append(sequenceFeature.begin);
 952     out.append(TAB);
 953     out.append(sequenceFeature.end);
 954     out.append(TAB);
 955     out.append(sequenceFeature.type);
 956     if (!Float.isNaN(sequenceFeature.score))
 957     {
 958       out.append(TAB);
 959       out.append(sequenceFeature.score);
 960     }
 961     out.append(newline);
 962   }
 963
 964   /**
 965    * Parse method that is called when a GFF file is dragged to the desktop
 966    */
 967   @Override
 968   public void parse()
 969   {
 970     AlignViewportI av = getViewport();
 971     if (av != null)
 972     {
 973       if (av.getAlignment() != null)
 974       {
 975         dataset = av.getAlignment().getDataset();
 976       }
 977       if (dataset == null)
 978       {
 979         // working in the applet context ?
 980         dataset = av.getAlignment();
 981       }
 982     }
 983     else
 984     {
 985       dataset = new Alignment(new SequenceI[] {});
 986     }
 987
 988     Map<String, FeatureColourI> featureColours = new HashMap<>();
 989     boolean parseResult = parse(dataset, featureColours, false, true);
 990     if (!parseResult)
 991     {
 992       // pass error up somehow
 993     }
 994     if (av != null)
 995     {
 996       // update viewport with the dataset data ?
 997     }
 998     else
 999     {
1000       setSeqs(dataset.getSequencesArray());
1001     }
1002   }
1003
1004   /**
1005    * Implementation of unused abstract method
1006    *
1007    * @return error message
1008    */
1009   @Override
1010   public String print(SequenceI[] sqs, boolean jvsuffix)
1011   {
1012     System.out.println("Use printGffFormat() or printJalviewFormat()");
1013     return null;
1014   }
1015
1016   /**
1017    * Returns features output in GFF2 format
1018    *
1019    * @param sequences
1020    *                                       the sequences whose features are to be
1021    *                                       output
1022    * @param visible
1023    *                                       a map whose keys are the type names of
1024    *                                       visible features
1025    * @param visibleFeatureGroups
1026    * @param includeNonPositionalFeatures
1027    * @param includeComplement
1028    * @return
1029    */
1030   public String printGffFormat(SequenceI[] sequences,
1031           FeatureRenderer fr, boolean includeNonPositionalFeatures,
1032           boolean includeComplement)
1033   {
1034     FeatureRenderer fr2 = null;
1035     if (includeComplement)
1036     {
1037       AlignViewportI comp = fr.getViewport().getCodingComplement();
1038       fr2 = Desktop.getAlignFrameFor(comp).getFeatureRenderer();
1039     }
1040
1041     Map<String, FeatureColourI> visibleColours = fr.getDisplayedFeatureCols();
1042
1043     StringBuilder out = new StringBuilder(256);
1044
1045     out.append(String.format("%s %d\n", GFF_VERSION, gffVersion == 0 ? 2 : gffVersion));
1046
1047     String[] types = visibleColours == null ? new String[0]
1048             : visibleColours.keySet()
1049                     .toArray(new String[visibleColours.keySet().size()]);
1050
1051     for (SequenceI seq : sequences)
1052     {
1053       List<SequenceFeature> seqFeatures = new ArrayList<>();
1054       List<SequenceFeature> features = new ArrayList<>();
1055       if (includeNonPositionalFeatures)
1056       {
1057         features.addAll(seq.getFeatures().getNonPositionalFeatures());
1058       }
1059       if (visibleColours != null && !visibleColours.isEmpty())
1060       {
1061         features.addAll(seq.getFeatures().getPositionalFeatures(types));
1062       }
1063       for (SequenceFeature sf : features)
1064       {
1065         if (sf.isNonPositional() || fr.isVisible(sf))
1066         {
1067           /*
1068            * drop features hidden by group visibility, colour threshold,
1069            * or feature filter condition
1070            */
1071           seqFeatures.add(sf);
1072         }
1073       }
1074
1075       if (includeComplement)
1076       {
1077         seqFeatures.addAll(findComplementaryFeatures(seq, fr2));
1078       }
1079
1080       /*
1081        * sort features here if wanted
1082        */
1083       for (SequenceFeature sf : seqFeatures)
1084       {
1085         formatGffFeature(out, seq, sf);
1086         out.append(newline);
1087       }
1088     }
1089
1090     return out.toString();
1091   }
1092
1093   /**
1094    * Formats one feature as GFF and appends to the string buffer
1095    */
1096   private void formatGffFeature(StringBuilder out, SequenceI seq,
1097           SequenceFeature sf)
1098   {
1099     String source = sf.featureGroup;
1100     if (source == null)
1101     {
1102       source = sf.getDescription();
1103     }
1104
1105     out.append(seq.getName());
1106     out.append(TAB);
1107     out.append(source);
1108     out.append(TAB);
1109     out.append(sf.type);
1110     out.append(TAB);
1111     out.append(sf.begin);
1112     out.append(TAB);
1113     out.append(sf.end);
1114     out.append(TAB);
1115     out.append(sf.score);
1116     out.append(TAB);
1117
1118     int strand = sf.getStrand();
1119     out.append(strand == 1 ? "+" : (strand == -1 ? "-" : "."));
1120     out.append(TAB);
1121
1122     String phase = sf.getPhase();
1123     out.append(phase == null ? "." : phase);
1124
1125     if (sf.otherDetails != null && !sf.otherDetails.isEmpty())
1126     {
1127       Map<String, Object> map = sf.otherDetails;
1128       formatAttributes(out, map);
1129     }
1130   }
1131
1132   /**
1133    * A helper method that outputs attributes stored in the map as
1134    * semicolon-delimited values e.g.
1135    *
1136    * <pre>
1137    * AC_Male=0;AF_NFE=0.00000e 00;Hom_FIN=0;GQ_MEDIAN=9
1138    * </pre>
1139    *
1140    * A map-valued attribute is formatted as a comma-delimited list within braces,
1141    * for example
1142    *
1143    * <pre>
1144    * jvmap_CSQ={ALLELE_NUM=1,UNIPARC=UPI0002841053,Feature=ENST00000585561}
1145    * </pre>
1146    *
1147    * The {@code jvmap_} prefix designates a values map and is removed if the value
1148    * is parsed when read in. (The GFF3 specification allows 'semi-structured data'
1149    * to be represented provided the attribute name begins with a lower case
1150    * letter.)
1151    *
1152    * @param sb
1153    * @param map
1154    * @see http://gmod.org/wiki/GFF3#GFF3_Format
1155    */
1156   void formatAttributes(StringBuilder sb, Map<String, Object> map)
1157   {
1158     sb.append(TAB);
1159     boolean first = true;
1160     for (String key : map.keySet())
1161     {
1162       if (SequenceFeature.STRAND.equals(key)
1163               || SequenceFeature.PHASE.equals(key))
1164       {
1165         /*
1166          * values stashed in map but output to their own columns
1167          */
1168         continue;
1169       }
1170       {
1171         if (!first)
1172         {
1173           sb.append(";");
1174         }
1175       }
1176       first = false;
1177       Object value = map.get(key);
1178       if (value instanceof Map<?, ?>)
1179       {
1180         formatMapAttribute(sb, key, (Map<?, ?>) value);
1181       }
1182       else
1183       {
1184         String formatted = StringUtils.urlEncode(value.toString(),
1185                 GffHelperI.GFF_ENCODABLE);
1186         sb.append(key).append(EQUALS).append(formatted);
1187       }
1188     }
1189   }
1190
1191   /**
1192    * Formats the map entries as
1193    *
1194    * <pre>
1195    * key=key1=value1,key2=value2,...
1196    * </pre>
1197    *
1198    * and appends this to the string buffer
1199    *
1200    * @param sb
1201    * @param key
1202    * @param map
1203    */
1204   private void formatMapAttribute(StringBuilder sb, String key,
1205           Map<?, ?> map)
1206   {
1207     if (map == null || map.isEmpty())
1208     {
1209       return;
1210     }
1211
1212     /*
1213      * AbstractMap.toString would be a shortcut here, but more reliable
1214      * to code the required format in case toString changes in future
1215      */
1216     sb.append(key).append(EQUALS);
1217     boolean first = true;
1218     for (Entry<?, ?> entry : map.entrySet())
1219     {
1220       if (!first)
1221       {
1222         sb.append(",");
1223       }
1224       first = false;
1225       sb.append(entry.getKey().toString()).append(EQUALS);
1226       String formatted = StringUtils.urlEncode(entry.getValue().toString(),
1227               GffHelperI.GFF_ENCODABLE);
1228       sb.append(formatted);
1229     }
1230   }
1231
1232   /**
1233    * Returns a mapping given list of one or more Align descriptors (exonerate
1234    * format)
1235    *
1236    * @param alignedRegions
1237    *                         a list of "Align fromStart toStart fromCount"
1238    * @param mapIsFromCdna
1239    *                         if true, 'from' is dna, else 'from' is protein
1240    * @param strand
1241    *                         either 1 (forward) or -1 (reverse)
1242    * @return
1243    * @throws IOException
1244    */
1245   protected MapList constructCodonMappingFromAlign(
1246           List<String> alignedRegions, boolean mapIsFromCdna, int strand)
1247           throws IOException
1248   {
1249     if (strand == 0)
1250     {
1251       throw new IOException(
1252               "Invalid strand for a codon mapping (cannot be 0)");
1253     }
1254     int regions = alignedRegions.size();
1255     // arrays to hold [start, end] for each aligned region
1256     int[] fromRanges = new int[regions * 2]; // from dna
1257     int[] toRanges = new int[regions * 2]; // to protein
1258     int fromRangesIndex = 0;
1259     int toRangesIndex = 0;
1260
1261     for (String range : alignedRegions)
1262     {
1263       /*
1264        * Align mapFromStart mapToStart mapFromCount
1265        * e.g. if mapIsFromCdna
1266        *     Align 11270 143 120
1267        * means:
1268        *     120 bases from pos 11270 align to pos 143 in peptide
1269        * if !mapIsFromCdna this would instead be
1270        *     Align 143 11270 40
1271        */
1272       String[] tokens = range.split(" ");
1273       if (tokens.length != 3)
1274       {
1275         throw new IOException("Wrong number of fields for Align");
1276       }
1277       int fromStart = 0;
1278       int toStart = 0;
1279       int fromCount = 0;
1280       try
1281       {
1282         fromStart = Integer.parseInt(tokens[0]);
1283         toStart = Integer.parseInt(tokens[1]);
1284         fromCount = Integer.parseInt(tokens[2]);
1285       } catch (NumberFormatException nfe)
1286       {
1287         throw new IOException(
1288                 "Invalid number in Align field: " + nfe.getMessage());
1289       }
1290
1291       /*
1292        * Jalview always models from dna to protein, so adjust values if the
1293        * GFF mapping is from protein to dna
1294        */
1295       if (!mapIsFromCdna)
1296       {
1297         fromCount *= 3;
1298         int temp = fromStart;
1299         fromStart = toStart;
1300         toStart = temp;
1301       }
1302       fromRanges[fromRangesIndex++] = fromStart;
1303       fromRanges[fromRangesIndex++] = fromStart + strand * (fromCount - 1);
1304
1305       /*
1306        * If a codon has an intron gap, there will be contiguous 'toRanges';
1307        * this is handled for us by the MapList constructor.
1308        * (It is not clear that exonerate ever generates this case)
1309        */
1310       toRanges[toRangesIndex++] = toStart;
1311       toRanges[toRangesIndex++] = toStart + (fromCount - 1) / 3;
1312     }
1313
1314     return new MapList(fromRanges, toRanges, 3, 1);
1315   }
1316
1317   /**
1318    * Parse a GFF format feature. This may include creating a 'dummy' sequence to
1319    * hold the feature, or for its mapped sequence, or both, to be resolved
1320    * either later in the GFF file (##FASTA section), or when the user loads
1321    * additional sequences.
1322    *
1323    * @param gffColumns
1324    * @param alignment
1325    * @param relaxedIdMatching
1326    * @param newseqs
1327    * @return
1328    */
1329   protected SequenceI parseGff(String[] gffColumns, AlignmentI alignment,
1330           boolean relaxedIdMatching, List<SequenceI> newseqs)
1331   {
1332     /*
1333      * GFF: seqid source type start end score strand phase [attributes]
1334      */
1335     if (gffColumns.length < 5)
1336     {
1337       System.err.println("Ignoring GFF feature line with too few columns ("
1338               + gffColumns.length + ")");
1339       return null;
1340     }
1341
1342     /*
1343      * locate referenced sequence in alignment _or_
1344      * as a forward or external reference (SequenceDummy)
1345      */
1346     String seqId = gffColumns[0];
1347     SequenceI seq = findSequence(seqId, alignment, newseqs,
1348             relaxedIdMatching);
1349
1350     SequenceFeature sf = null;
1351     GffHelperI helper = GffHelperFactory.getHelper(gffColumns);
1352     if (helper != null)
1353     {
1354       try
1355       {
1356         sf = helper.processGff(seq, gffColumns, alignment, newseqs,
1357                 relaxedIdMatching);
1358         if (sf != null)
1359         {
1360           seq.addSequenceFeature(sf);
1361           while ((seq = alignment.findName(seq, seqId, true)) != null)
1362           {
1363             seq.addSequenceFeature(new SequenceFeature(sf));
1364           }
1365         }
1366       } catch (IOException e)
1367       {
1368         System.err.println("GFF parsing failed with: " + e.getMessage());
1369         return null;
1370       }
1371     }
1372
1373     return seq;
1374   }
1375
1376   /**
1377    * After encountering ##fasta in a GFF3 file, process the remainder of the
1378    * file as FAST sequence data. Any placeholder sequences created during
1379    * feature parsing are updated with the actual sequences.
1380    *
1381    * @param align
1382    * @param newseqs
1383    * @throws IOException
1384    */
1385   protected void processAsFasta(AlignmentI align, List<SequenceI> newseqs)
1386           throws IOException
1387   {
1388     try
1389     {
1390       mark();
1391     } catch (IOException q)
1392     {
1393     }
1394     FastaFile parser = new FastaFile(this);
1395     List<SequenceI> includedseqs = parser.getSeqs();
1396
1397     SequenceIdMatcher smatcher = new SequenceIdMatcher(newseqs);
1398
1399     /*
1400      * iterate over includedseqs, and replacing matching ones with newseqs
1401      * sequences. Generic iterator not used here because we modify
1402      * includedseqs as we go
1403      */
1404     for (int p = 0, pSize = includedseqs.size(); p < pSize; p++)
1405     {
1406       // search for any dummy seqs that this sequence can be used to update
1407       SequenceI includedSeq = includedseqs.get(p);
1408       SequenceI dummyseq = smatcher.findIdMatch(includedSeq);
1409       if (dummyseq != null && dummyseq instanceof SequenceDummy)
1410       {
1411         // probably have the pattern wrong
1412         // idea is that a flyweight proxy for a sequence ID can be created for
1413         // 1. stable reference creation
1414         // 2. addition of annotation
1415         // 3. future replacement by a real sequence
1416         // current pattern is to create SequenceDummy objects - a convenience
1417         // constructor for a Sequence.
1418         // problem is that when promoted to a real sequence, all references
1419         // need to be updated somehow. We avoid that by keeping the same object.
1420         ((SequenceDummy) dummyseq).become(includedSeq);
1421         dummyseq.createDatasetSequence();
1422
1423         /*
1424          * Update mappings so they are now to the dataset sequence
1425          */
1426         for (AlignedCodonFrame mapping : align.getCodonFrames())
1427         {
1428           mapping.updateToDataset(dummyseq);
1429         }
1430
1431         /*
1432          * replace parsed sequence with the realised forward reference
1433          */
1434         includedseqs.set(p, dummyseq);
1435
1436         /*
1437          * and remove from the newseqs list
1438          */
1439         newseqs.remove(dummyseq);
1440       }
1441     }
1442
1443     /*
1444      * finally add sequences to the dataset
1445      */
1446     for (SequenceI seq : includedseqs)
1447     {
1448       // experimental: mapping-based 'alignment' to query sequence
1449       AlignmentUtils.alignSequenceAs(seq, align,
1450               String.valueOf(align.getGapCharacter()), false, true);
1451
1452       // rename sequences if GFF handler requested this
1453       // TODO a more elegant way e.g. gffHelper.postProcess(newseqs) ?
1454       List<SequenceFeature> sfs = seq.getFeatures().getPositionalFeatures();
1455       if (!sfs.isEmpty())
1456       {
1457         String newName = (String) sfs.get(0).getValue(
1458                 GffHelperI.RENAME_TOKEN);
1459         if (newName != null)
1460         {
1461           seq.setName(newName);
1462         }
1463       }
1464       align.addSequence(seq);
1465     }
1466   }
1467
1468   /**
1469    * Process a ## directive
1470    *
1471    * @param line
1472    * @param gffProps
1473    * @param align
1474    * @param newseqs
1475    * @throws IOException
1476    */
1477   protected void processGffPragma(String line, Map<String, String> gffProps,
1478           AlignmentI align, List<SequenceI> newseqs) throws IOException
1479   {
1480     line = line.trim();
1481     if ("###".equals(line))
1482     {
1483       // close off any open 'forward references'
1484       return;
1485     }
1486
1487     String[] tokens = line.substring(2).split(" ");
1488     String pragma = tokens[0];
1489     String value = tokens.length == 1 ? null : tokens[1];
1490
1491     if ("gff-version".equalsIgnoreCase(pragma))
1492     {
1493       if (value != null)
1494       {
1495         try
1496         {
1497           // value may be e.g. "3.1.2"
1498           gffVersion = Integer.parseInt(value.split("\\.")[0]);
1499         } catch (NumberFormatException e)
1500         {
1501           // ignore
1502         }
1503       }
1504     }
1505     else if ("sequence-region".equalsIgnoreCase(pragma))
1506     {
1507       // could capture <seqid start end> if wanted here
1508     }
1509     else if ("feature-ontology".equalsIgnoreCase(pragma))
1510     {
1511       // should resolve against the specified feature ontology URI
1512     }
1513     else if ("attribute-ontology".equalsIgnoreCase(pragma))
1514     {
1515       // URI of attribute ontology - not currently used in GFF3
1516     }
1517     else if ("source-ontology".equalsIgnoreCase(pragma))
1518     {
1519       // URI of source ontology - not currently used in GFF3
1520     }
1521     else if ("species-build".equalsIgnoreCase(pragma))
1522     {
1523       // save URI of specific NCBI taxon version of annotations
1524       gffProps.put("species-build", value);
1525     }
1526     else if ("fasta".equalsIgnoreCase(pragma))
1527     {
1528       // process the rest of the file as a fasta file and replace any dummy
1529       // sequence IDs
1530       processAsFasta(align, newseqs);
1531     }
1532     else
1533     {
1534       System.err.println("Ignoring unknown pragma: " + line);
1535     }
1536   }
1537 }