src/jalview/io/FeaturesFile.java

   1 /*\r
   2  * Jalview - A Sequence Alignment Editor and Viewer (Version 2.4)\r
   3  * Copyright (C) 2008 AM Waterhouse, J Procter, G Barton, M Clamp, S Searle\r
   4  * \r
   5  * This program is free software; you can redistribute it and/or\r
   6  * modify it under the terms of the GNU General Public License\r
   7  * as published by the Free Software Foundation; either version 2\r
   8  * of the License, or (at your option) any later version.\r
   9  * \r
  10  * This program is distributed in the hope that it will be useful,\r
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of\r
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\r
  13  * GNU General Public License for more details.\r
  14  * \r
  15  * You should have received a copy of the GNU General Public License\r
  16  * along with this program; if not, write to the Free Software\r
  17  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA\r
  18  */\r
  19 package jalview.io;\r
  20 \r
  21 import java.io.*;\r
  22 import java.util.*;\r
  23 \r
  24 import jalview.datamodel.*;\r
  25 import jalview.schemes.*;\r
  26 \r
  27 /**\r
  28  * Parse and create Jalview Features files Detects GFF format features files and\r
  29  * parses. Does not implement standard print() - call specific printFeatures or\r
  30  * printGFF. Uses AlignmentI.findSequence(String id) to find the sequence object\r
  31  * for the features annotation - this normally works on an exact match.\r
  32  * \r
  33  * @author AMW\r
  34  * @version $Revision$\r
  35  */\r
  36 public class FeaturesFile extends AlignFile\r
  37 {\r
  38   /**\r
  39    * work around for GFF interpretation bug where source string becomes description rather than a group\r
  40    */\r
  41   private boolean doGffSource = true;\r
  42 \r
  43   /**\r
  44    * Creates a new FeaturesFile object.\r
  45    */\r
  46   public FeaturesFile()\r
  47   {\r
  48   }\r
  49 \r
  50   /**\r
  51    * Creates a new FeaturesFile object.\r
  52    * \r
  53    * @param inFile\r
  54    *                DOCUMENT ME!\r
  55    * @param type\r
  56    *                DOCUMENT ME!\r
  57    * \r
  58    * @throws IOException\r
  59    *                 DOCUMENT ME!\r
  60    */\r
  61   public FeaturesFile(String inFile, String type) throws IOException\r
  62   {\r
  63     super(inFile, type);\r
  64   }\r
  65 \r
  66   public FeaturesFile(FileParse source) throws IOException\r
  67   {\r
  68     super(source);\r
  69   }\r
  70 \r
  71   /**\r
  72    * The Application can render HTML, but the applet will remove HTML tags and\r
  73    * replace links with %LINK% Both need to read links in HTML however\r
  74    * \r
  75    * @throws IOException\r
  76    *                 DOCUMENT ME!\r
  77    */\r
  78   public boolean parse(AlignmentI align, Hashtable colours,\r
  79           boolean removeHTML)\r
  80   {\r
  81     return parse(align, colours, null, removeHTML);\r
  82   }\r
  83 \r
  84   /**\r
  85    * The Application can render HTML, but the applet will remove HTML tags and\r
  86    * replace links with %LINK% Both need to read links in HTML however\r
  87    * \r
  88    * @throws IOException\r
  89    *                 DOCUMENT ME!\r
  90    */\r
  91   public boolean parse(AlignmentI align, Hashtable colours,\r
  92           Hashtable featureLink, boolean removeHTML)\r
  93   {\r
  94     String line = null;\r
  95     try\r
  96     {\r
  97       SequenceI seq = null;\r
  98       String type, desc, token = null;\r
  99 \r
 100       int index, start, end;\r
 101       float score;\r
 102       StringTokenizer st;\r
 103       SequenceFeature sf;\r
 104       String featureGroup = null, groupLink = null;\r
 105       Hashtable typeLink = new Hashtable();\r
 106 \r
 107       boolean GFFFile = true;\r
 108 \r
 109       while ((line = nextLine()) != null)\r
 110       {\r
 111         if (line.startsWith("#"))\r
 112         {\r
 113           continue;\r
 114         }\r
 115 \r
 116         st = new StringTokenizer(line, "\t");\r
 117         if (st.countTokens() > 1 && st.countTokens() < 4)\r
 118         {\r
 119           GFFFile = false;\r
 120           type = st.nextToken();\r
 121           if (type.equalsIgnoreCase("startgroup"))\r
 122           {\r
 123             featureGroup = st.nextToken();\r
 124             if (st.hasMoreElements())\r
 125             {\r
 126               groupLink = st.nextToken();\r
 127               featureLink.put(featureGroup, groupLink);\r
 128             }\r
 129           }\r
 130           else if (type.equalsIgnoreCase("endgroup"))\r
 131           {\r
 132             // We should check whether this is the current group,\r
 133             // but at present theres no way of showing more than 1 group\r
 134             st.nextToken();\r
 135             featureGroup = null;\r
 136             groupLink = null;\r
 137           }\r
 138           else\r
 139           {\r
 140             UserColourScheme ucs = new UserColourScheme(st.nextToken());\r
 141             colours.put(type, ucs.findColour('A'));\r
 142             if (st.hasMoreElements())\r
 143             {\r
 144               String link = st.nextToken();\r
 145               typeLink.put(type, link);\r
 146               if (featureLink == null)\r
 147               {\r
 148                 featureLink = new Hashtable();\r
 149               }\r
 150               featureLink.put(type, link);\r
 151             }\r
 152 \r
 153           }\r
 154           continue;\r
 155         }\r
 156         String seqId = "";\r
 157         while (st.hasMoreElements())\r
 158         {\r
 159 \r
 160           if (GFFFile)\r
 161           {\r
 162             // Still possible this is an old Jalview file,\r
 163             // which does not have type colours at the beginning\r
 164             seqId = token = st.nextToken();\r
 165             seq = align.findName(seqId, true);\r
 166             if (seq != null)\r
 167             {\r
 168               desc = st.nextToken();\r
 169               String group=null;\r
 170               if (doGffSource && desc.indexOf(' ')==-1) {\r
 171                 // could also be a source term rather than description line\r
 172                 group = new String(desc);\r
 173               }\r
 174               type = st.nextToken();\r
 175               try\r
 176               {\r
 177                 String stt = st.nextToken();\r
 178                 if (stt.length()==0 || stt.equals("-"))\r
 179                 {\r
 180                   start = 0;\r
 181                 } else {\r
 182                 start = Integer.parseInt(stt);\r
 183                 }\r
 184               } catch (NumberFormatException ex)\r
 185               {\r
 186                 start = 0;\r
 187               }\r
 188               try\r
 189               {\r
 190                 String stt = st.nextToken();\r
 191                 if (stt.length()==0 || stt.equals("-"))\r
 192                 {\r
 193                   end = -1;\r
 194                 } else {\r
 195                   end = Integer.parseInt(stt);\r
 196                 }\r
 197               } catch (NumberFormatException ex)\r
 198               {\r
 199                 end = -1;\r
 200               }\r
 201               try\r
 202               {\r
 203                 score = new Float(st.nextToken()).floatValue();\r
 204               } catch (NumberFormatException ex)\r
 205               {\r
 206                 score = 0;\r
 207               }\r
 208 \r
 209               sf = new SequenceFeature(type, desc, start, end, score, group);\r
 210 \r
 211               try\r
 212               {\r
 213                 sf.setValue("STRAND", st.nextToken());\r
 214                 sf.setValue("FRAME", st.nextToken());\r
 215               } catch (Exception ex)\r
 216               {\r
 217               }\r
 218 \r
 219               if (st.hasMoreTokens())\r
 220               {\r
 221                 StringBuffer attributes = new StringBuffer();\r
 222                 while (st.hasMoreTokens())\r
 223                 {\r
 224                   attributes.append("\t" + st.nextElement());\r
 225                 }\r
 226                 // TODO validate and split GFF2 attributes field ? parse out ([A-Za-z][A-Za-z0-9_]*) <value> ; and add as sf.setValue(attrib, val); \r
 227                 sf.setValue("ATTRIBUTES", attributes.toString());\r
 228               }\r
 229 \r
 230               seq.addSequenceFeature(sf);\r
 231               while ((seq = align.findName(seq, seqId, true)) != null)\r
 232               {\r
 233                 seq.addSequenceFeature(new SequenceFeature(sf));\r
 234               }\r
 235               break;\r
 236             }\r
 237           }\r
 238 \r
 239           if (GFFFile && seq == null)\r
 240           {\r
 241             desc = token;\r
 242           }\r
 243           else\r
 244           {\r
 245             desc = st.nextToken();\r
 246           }\r
 247           if (!st.hasMoreTokens())\r
 248           {\r
 249             System.err\r
 250                     .println("DEBUG: Run out of tokens when trying to identify the destination for the feature.. giving up.");\r
 251             // in all probability, this isn't a file we understand, so bail\r
 252             // quietly.\r
 253             return false;\r
 254           }\r
 255 \r
 256           token = st.nextToken();\r
 257 \r
 258           if (!token.equals("ID_NOT_SPECIFIED"))\r
 259           {\r
 260             seq = align.findName(seqId = token, true);\r
 261             st.nextToken();\r
 262           }\r
 263           else\r
 264           {\r
 265             seqId = null;\r
 266             try\r
 267             {\r
 268               index = Integer.parseInt(st.nextToken());\r
 269               seq = align.getSequenceAt(index);\r
 270             } catch (NumberFormatException ex)\r
 271             {\r
 272               seq = null;\r
 273             }\r
 274           }\r
 275 \r
 276           if (seq == null)\r
 277           {\r
 278             System.out.println("Sequence not found: " + line);\r
 279             break;\r
 280           }\r
 281 \r
 282           start = Integer.parseInt(st.nextToken());\r
 283           end = Integer.parseInt(st.nextToken());\r
 284 \r
 285           type = st.nextToken();\r
 286 \r
 287           if (!colours.containsKey(type))\r
 288           {\r
 289             // Probably the old style groups file\r
 290             UserColourScheme ucs = new UserColourScheme(type);\r
 291             colours.put(type, ucs.findColour('A'));\r
 292           }\r
 293 \r
 294           sf = new SequenceFeature(type, desc, "", start, end, featureGroup);\r
 295 \r
 296           if (groupLink != null && removeHTML)\r
 297           {\r
 298             sf.addLink(groupLink);\r
 299             sf.description += "%LINK%";\r
 300           }\r
 301           if (typeLink.containsKey(type) && removeHTML)\r
 302           {\r
 303             sf.addLink(typeLink.get(type).toString());\r
 304             sf.description += "%LINK%";\r
 305           }\r
 306 \r
 307           parseDescriptionHTML(sf, removeHTML);\r
 308 \r
 309           seq.addSequenceFeature(sf);\r
 310 \r
 311           while (seqId != null\r
 312                   && (seq = align.findName(seq, seqId, false)) != null)\r
 313           {\r
 314             seq.addSequenceFeature(new SequenceFeature(sf));\r
 315           }\r
 316           // If we got here, its not a GFFFile\r
 317           GFFFile = false;\r
 318         }\r
 319       }\r
 320     } catch (Exception ex)\r
 321     {\r
 322       System.out.println(line);\r
 323       System.out.println("Error parsing feature file: " + ex + "\n" + line);\r
 324       ex.printStackTrace(System.err);\r
 325       return false;\r
 326     }\r
 327 \r
 328     return true;\r
 329   }\r
 330 \r
 331   public void parseDescriptionHTML(SequenceFeature sf, boolean removeHTML)\r
 332   {\r
 333     if (sf.getDescription() == null)\r
 334     {\r
 335       return;\r
 336     }\r
 337 \r
 338     if (removeHTML\r
 339             && sf.getDescription().toUpperCase().indexOf("<HTML>") == -1)\r
 340     {\r
 341       removeHTML = false;\r
 342     }\r
 343 \r
 344     StringBuffer sb = new StringBuffer();\r
 345     StringTokenizer st = new StringTokenizer(sf.getDescription(), "<");\r
 346     String token, link;\r
 347     int startTag;\r
 348     String tag = null;\r
 349     while (st.hasMoreElements())\r
 350     {\r
 351       token = st.nextToken("&>");\r
 352       if (token.equalsIgnoreCase("html") || token.startsWith("/"))\r
 353       {\r
 354         continue;\r
 355       }\r
 356 \r
 357       tag = null;\r
 358       startTag = token.indexOf("<");\r
 359 \r
 360       if (startTag > -1)\r
 361       {\r
 362         tag = token.substring(startTag + 1);\r
 363         token = token.substring(0, startTag);\r
 364       }\r
 365 \r
 366       if (tag != null && tag.toUpperCase().startsWith("A HREF="))\r
 367       {\r
 368         if (token.length() > 0)\r
 369         {\r
 370           sb.append(token);\r
 371         }\r
 372         link = tag.substring(tag.indexOf("\"") + 1, tag.length() - 1);\r
 373         String label = st.nextToken("<>");\r
 374         sf.addLink(label + "|" + link);\r
 375         sb.append(label + "%LINK%");\r
 376       }\r
 377       else if (tag != null && tag.equalsIgnoreCase("br"))\r
 378       {\r
 379         sb.append("\n");\r
 380       }\r
 381       else if (token.startsWith("lt;"))\r
 382       {\r
 383         sb.append("<" + token.substring(3));\r
 384       }\r
 385       else if (token.startsWith("gt;"))\r
 386       {\r
 387         sb.append(">" + token.substring(3));\r
 388       }\r
 389       else if (token.startsWith("amp;"))\r
 390       {\r
 391         sb.append("&" + token.substring(4));\r
 392       }\r
 393       else\r
 394       {\r
 395         sb.append(token);\r
 396       }\r
 397     }\r
 398 \r
 399     if (removeHTML)\r
 400     {\r
 401       sf.description = sb.toString();\r
 402     }\r
 403 \r
 404   }\r
 405 \r
 406   /**\r
 407    * generate a features file for seqs\r
 408    * \r
 409    * @param seqs\r
 410    *                source of sequence features\r
 411    * @param visible\r
 412    *                hash of feature types and colours\r
 413    * @return features file contents\r
 414    */\r
 415   public String printJalviewFormat(SequenceI[] seqs, Hashtable visible)\r
 416   {\r
 417     return printJalviewFormat(seqs, visible, true);\r
 418   }\r
 419 \r
 420   /**\r
 421    * generate a features file for seqs with colours from visible (if any)\r
 422    * \r
 423    * @param seqs\r
 424    *                source of features\r
 425    * @param visible\r
 426    *                hash of Colours for each feature type\r
 427    * @param visOnly\r
 428    *                when true only feature types in 'visible' will be output\r
 429    * @return features file contents\r
 430    */\r
 431   public String printJalviewFormat(SequenceI[] seqs, Hashtable visible,\r
 432           boolean visOnly)\r
 433   {\r
 434     StringBuffer out = new StringBuffer();\r
 435     SequenceFeature[] next;\r
 436 \r
 437     if (visOnly && (visible == null || visible.size() < 1))\r
 438     {\r
 439       return "No Features Visible";\r
 440     }\r
 441     if (visible != null && visOnly)\r
 442     {\r
 443       // write feature colours only if we're given them and we are generating\r
 444       // viewed features\r
 445       Enumeration en = visible.keys();\r
 446       String type;\r
 447       int color;\r
 448       while (en.hasMoreElements())\r
 449       {\r
 450         type = en.nextElement().toString();\r
 451         color = Integer.parseInt(visible.get(type).toString());\r
 452         out.append(type\r
 453                 + "\t"\r
 454                 + jalview.util.Format\r
 455                         .getHexString(new java.awt.Color(color)) + "\n");\r
 456       }\r
 457     }\r
 458     // Work out which groups are both present and visible\r
 459     Vector groups = new Vector();\r
 460     int groupIndex = 0;\r
 461 \r
 462     for (int i = 0; i < seqs.length; i++)\r
 463     {\r
 464       next = seqs[i].getSequenceFeatures();\r
 465       if (next != null)\r
 466       {\r
 467         for (int j = 0; j < next.length; j++)\r
 468         {\r
 469           if (visOnly && !visible.containsKey(next[j].type))\r
 470           {\r
 471             continue;\r
 472           }\r
 473 \r
 474           if (next[j].featureGroup != null\r
 475                   && !groups.contains(next[j].featureGroup))\r
 476           {\r
 477             groups.addElement(next[j].featureGroup);\r
 478           }\r
 479         }\r
 480       }\r
 481     }\r
 482 \r
 483     String group = null;\r
 484 \r
 485     do\r
 486     {\r
 487 \r
 488       if (groups.size() > 0 && groupIndex < groups.size())\r
 489       {\r
 490         group = groups.elementAt(groupIndex).toString();\r
 491         out.append("\nSTARTGROUP\t" + group + "\n");\r
 492       }\r
 493       else\r
 494       {\r
 495         group = null;\r
 496       }\r
 497 \r
 498       for (int i = 0; i < seqs.length; i++)\r
 499       {\r
 500         next = seqs[i].getSequenceFeatures();\r
 501         if (next != null)\r
 502         {\r
 503           for (int j = 0; j < next.length; j++)\r
 504           {\r
 505             if (visOnly && !visible.containsKey(next[j].type))\r
 506             {\r
 507               continue;\r
 508             }\r
 509 \r
 510             if (group != null\r
 511                     && (next[j].featureGroup == null || !next[j].featureGroup\r
 512                             .equals(group)))\r
 513             {\r
 514               continue;\r
 515             }\r
 516 \r
 517             if (group == null && next[j].featureGroup != null)\r
 518             {\r
 519               continue;\r
 520             }\r
 521 \r
 522             if (next[j].description == null\r
 523                     || next[j].description.equals(""))\r
 524             {\r
 525               out.append(next[j].type + "\t");\r
 526             }\r
 527             else\r
 528             {\r
 529               if (next[j].links != null\r
 530                       && next[j].getDescription().indexOf("<html>") == -1)\r
 531               {\r
 532                 out.append("<html>");\r
 533               }\r
 534 \r
 535               out.append(next[j].description + " ");\r
 536               if (next[j].links != null)\r
 537               {\r
 538                 for (int l = 0; l < next[j].links.size(); l++)\r
 539                 {\r
 540                   String label = next[j].links.elementAt(l).toString();\r
 541                   String href = label.substring(label.indexOf("|") + 1);\r
 542                   label = label.substring(0, label.indexOf("|"));\r
 543 \r
 544                   if (next[j].description.indexOf(href) == -1)\r
 545                   {\r
 546                     out\r
 547                             .append("<a href=\"" + href + "\">" + label\r
 548                                     + "</a>");\r
 549                   }\r
 550                 }\r
 551 \r
 552                 if (next[j].getDescription().indexOf("</html>") == -1)\r
 553                 {\r
 554                   out.append("</html>");\r
 555                 }\r
 556               }\r
 557 \r
 558               out.append("\t");\r
 559             }\r
 560 \r
 561             out.append(seqs[i].getName() + "\t-1\t" + next[j].begin + "\t"\r
 562                     + next[j].end + "\t" + next[j].type + "\n");\r
 563           }\r
 564         }\r
 565       }\r
 566 \r
 567       if (group != null)\r
 568       {\r
 569         out.append("ENDGROUP\t" + group + "\n");\r
 570         groupIndex++;\r
 571       }\r
 572       else\r
 573       {\r
 574         break;\r
 575       }\r
 576 \r
 577     } while (groupIndex < groups.size() + 1);\r
 578 \r
 579     return out.toString();\r
 580   }\r
 581 \r
 582   public String printGFFFormat(SequenceI[] seqs, Hashtable visible)\r
 583   {\r
 584     return printGFFFormat(seqs, visible, true);\r
 585   }\r
 586 \r
 587   public String printGFFFormat(SequenceI[] seqs, Hashtable visible,\r
 588           boolean visOnly)\r
 589   {\r
 590     StringBuffer out = new StringBuffer();\r
 591     SequenceFeature[] next;\r
 592     String source;\r
 593 \r
 594     for (int i = 0; i < seqs.length; i++)\r
 595     {\r
 596       if (seqs[i].getSequenceFeatures() != null)\r
 597       {\r
 598         next = seqs[i].getSequenceFeatures();\r
 599         for (int j = 0; j < next.length; j++)\r
 600         {\r
 601           if (visOnly && !visible.containsKey(next[j].type))\r
 602           {\r
 603             continue;\r
 604           }\r
 605 \r
 606           source = next[j].featureGroup;\r
 607           if (source == null)\r
 608           {\r
 609             source = next[j].getDescription();\r
 610           }\r
 611 \r
 612           out.append(seqs[i].getName() + "\t" + source + "\t"\r
 613                   + next[j].type + "\t" + next[j].begin + "\t"\r
 614                   + next[j].end + "\t" + next[j].score + "\t");\r
 615 \r
 616           if (next[j].getValue("STRAND") != null)\r
 617           {\r
 618             out.append(next[j].getValue("STRAND") + "\t");\r
 619           }\r
 620           else\r
 621           {\r
 622             out.append(".\t");\r
 623           }\r
 624 \r
 625           if (next[j].getValue("FRAME") != null)\r
 626           {\r
 627             out.append(next[j].getValue("FRAME"));\r
 628           }\r
 629           else\r
 630           {\r
 631             out.append(".");\r
 632           }\r
 633 \r
 634           if (next[j].getValue("ATTRIBUTES") != null)\r
 635           {\r
 636             out.append(next[j].getValue("ATTRIBUTES"));\r
 637           }\r
 638 \r
 639           out.append("\n");\r
 640 \r
 641         }\r
 642       }\r
 643     }\r
 644 \r
 645     return out.toString();\r
 646   }\r
 647 \r
 648   /**\r
 649    * this is only for the benefit of object polymorphism - method does nothing.\r
 650    */\r
 651   public void parse()\r
 652   {\r
 653     // IGNORED\r
 654   }\r
 655 \r
 656   /**\r
 657    * this is only for the benefit of object polymorphism - method does nothing.\r
 658    * \r
 659    * @return error message\r
 660    */\r
 661   public String print()\r
 662   {\r
 663     return "USE printGFFFormat() or printJalviewFormat()";\r
 664   }\r
 665 }\r