cfe87d933152bbfaaa817cc98f21c9f4aefdda1d
[jalview.git] / src / jalview / datamodel / xdb / embl / EmblEntry.java
1 /*
2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
4  * 
5  * This file is part of Jalview.
6  * 
7  * Jalview is free software: you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License 
9  * as published by the Free Software Foundation, either version 3
10  * of the License, or (at your option) any later version.
11  *  
12  * Jalview is distributed in the hope that it will be useful, but 
13  * WITHOUT ANY WARRANTY; without even the implied warranty 
14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR 
15  * PURPOSE.  See the GNU General Public License for more details.
16  * 
17  * You should have received a copy of the GNU General Public License
18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
19  * The Jalview Authors are detailed in the 'AUTHORS' file.
20  */
21 package jalview.datamodel.xdb.embl;
22
23 import jalview.analysis.SequenceIdMatcher;
24 import jalview.datamodel.DBRefEntry;
25 import jalview.datamodel.DBRefSource;
26 import jalview.datamodel.FeatureProperties;
27 import jalview.datamodel.Mapping;
28 import jalview.datamodel.Sequence;
29 import jalview.datamodel.SequenceFeature;
30 import jalview.datamodel.SequenceI;
31 import jalview.util.DBRefUtils;
32 import jalview.util.DnaUtils;
33 import jalview.util.MapList;
34 import jalview.util.MappingUtils;
35 import jalview.util.StringUtils;
36
37 import java.util.Arrays;
38 import java.util.Hashtable;
39 import java.util.List;
40 import java.util.Map;
41 import java.util.Map.Entry;
42 import java.util.Vector;
43 import java.util.regex.Pattern;
44
45 /**
46  * Data model for one entry returned from an EMBL query, as marshalled by a
47  * Castor binding file
48  * 
49  * For example:
50  * http://www.ebi.ac.uk/Tools/dbfetch/dbfetch?db=ena_sequence&id=J03321
51  * &format=emblxml
52  * 
53  * @see embl_mapping.xml
54  */
55 public class EmblEntry
56 {
57   private static final Pattern SPACE_PATTERN = Pattern.compile(" ");
58
59   String accession;
60
61   String entryVersion;
62
63   String sequenceVersion;
64
65   String dataClass;
66
67   String moleculeType;
68
69   String topology;
70
71   String sequenceLength;
72
73   String taxonomicDivision;
74
75   String description;
76
77   String firstPublicDate;
78
79   String firstPublicRelease;
80
81   String lastUpdatedDate;
82
83   String lastUpdatedRelease;
84
85   Vector<String> keywords;
86
87   Vector<DBRefEntry> dbRefs;
88
89   Vector<EmblFeature> features;
90
91   EmblSequence sequence;
92
93   /**
94    * @return the accession
95    */
96   public String getAccession()
97   {
98     return accession;
99   }
100
101   /**
102    * @param accession
103    *          the accession to set
104    */
105   public void setAccession(String accession)
106   {
107     this.accession = accession;
108   }
109
110   /**
111    * @return the dbRefs
112    */
113   public Vector<DBRefEntry> getDbRefs()
114   {
115     return dbRefs;
116   }
117
118   /**
119    * @param dbRefs
120    *          the dbRefs to set
121    */
122   public void setDbRefs(Vector<DBRefEntry> dbRefs)
123   {
124     this.dbRefs = dbRefs;
125   }
126
127   /**
128    * @return the features
129    */
130   public Vector<EmblFeature> getFeatures()
131   {
132     return features;
133   }
134
135   /**
136    * @param features
137    *          the features to set
138    */
139   public void setFeatures(Vector<EmblFeature> features)
140   {
141     this.features = features;
142   }
143
144   /**
145    * @return the keywords
146    */
147   public Vector<String> getKeywords()
148   {
149     return keywords;
150   }
151
152   /**
153    * @param keywords
154    *          the keywords to set
155    */
156   public void setKeywords(Vector<String> keywords)
157   {
158     this.keywords = keywords;
159   }
160
161   /**
162    * @return the sequence
163    */
164   public EmblSequence getSequence()
165   {
166     return sequence;
167   }
168
169   /**
170    * @param sequence
171    *          the sequence to set
172    */
173   public void setSequence(EmblSequence sequence)
174   {
175     this.sequence = sequence;
176   }
177
178   /**
179    * Recover annotated sequences from EMBL file
180    * 
181    * @param sourceDb
182    * @param peptides
183    *          a list of protein products found so far (to add to)
184    * @return dna dataset sequence with DBRefs and features
185    */
186   public SequenceI getSequence(String sourceDb, List<SequenceI> peptides)
187   {
188     SequenceI dna = new Sequence(sourceDb + "|" + accession,
189             sequence.getSequence());
190     dna.setDescription(description);
191     DBRefEntry retrievedref = new DBRefEntry(sourceDb,
192             getSequenceVersion(), accession);
193     dna.addDBRef(retrievedref);
194     // add map to indicate the sequence is a valid coordinate frame for the
195     // dbref
196     retrievedref.setMap(new Mapping(null, new int[] { 1, dna.getLength() },
197             new int[] { 1, dna.getLength() }, 1, 1));
198     // TODO: transform EMBL Database refs to canonical form
199     if (dbRefs != null)
200     {
201       for (DBRefEntry dbref : dbRefs)
202       {
203         dna.addDBRef(dbref);
204       }
205     }
206
207     try
208     {
209       for (EmblFeature feature : features)
210       {
211         if (feature.dbRefs != null)
212         {
213           for (DBRefEntry dbref : feature.dbRefs)
214           {
215             dna.addDBRef(dbref);
216           }
217         }
218         if (FeatureProperties.isCodingFeature(sourceDb, feature.getName()))
219         {
220           parseCodingFeature(feature, sourceDb, dna, peptides);
221         }
222       }
223     } catch (Exception e)
224     {
225       System.err.println("EMBL Record Features parsing error!");
226       System.err
227               .println("Please report the following to help@jalview.org :");
228       System.err.println("EMBL Record " + accession);
229       System.err.println("Resulted in exception: " + e.getMessage());
230       e.printStackTrace(System.err);
231     }
232
233     return dna;
234   }
235
236   /**
237    * Extracts coding region and product from a CDS feature and properly decorate
238    * it with annotations.
239    * 
240    * @param feature
241    *          coding feature
242    * @param sourceDb
243    *          source database for the EMBLXML
244    * @param dna
245    *          parent dna sequence for this record
246    * @param peptides
247    *          list of protein product sequences for Embl entry
248    */
249   void parseCodingFeature(EmblFeature feature, String sourceDb,
250           SequenceI dna, List<SequenceI> peptides)
251   {
252     boolean isEmblCdna = sourceDb.equals(DBRefSource.EMBLCDS);
253
254     int[] exon = getCdsRanges(feature);
255
256     String prseq = null;
257     String prname = "";
258     String prid = null;
259     Map<String, String> vals = new Hashtable<String, String>();
260     SequenceIdMatcher matcher = new SequenceIdMatcher(peptides);
261
262     /*
263      * codon_start 1/2/3 in EMBL corresponds to phase 0/1/2 in CDS
264      * (phase is required for CDS features in GFF3 format)
265      */
266     int codonStart = 1;
267
268     /*
269      * parse qualifiers, saving protein translation, protein id,
270      * codon start position, product (name), and 'other values'
271      */
272     if (feature.getQualifiers() != null)
273     {
274       for (Qualifier q : feature.getQualifiers())
275       {
276         String qname = q.getName();
277         if (qname.equals("translation"))
278         {
279           // remove all spaces (precompiled String.replaceAll(" ", ""))
280           prseq = SPACE_PATTERN.matcher(q.getValues()[0]).replaceAll("");
281         }
282         else if (qname.equals("protein_id"))
283         {
284           prid = q.getValues()[0];
285         }
286         else if (qname.equals("codon_start"))
287         {
288           try
289           {
290             codonStart = Integer.parseInt(q.getValues()[0]);
291           } catch (NumberFormatException e)
292           {
293             System.err.println("Invalid codon_start in XML for "
294                     + accession + ": " + e.getMessage());
295           }
296         }
297         else if (qname.equals("product"))
298         {
299           // sometimes name is returned e.g. for V00488
300           prname = q.getValues()[0];
301         }
302         else
303         {
304           // throw anything else into the additional properties hash
305           String[] qvals = q.getValues();
306           if (qvals != null)
307           {
308             String commaSeparated = StringUtils.arrayToSeparatorList(qvals,
309                     ",");
310             vals.put(qname, commaSeparated);
311           }
312         }
313       }
314     }
315
316     DBRefEntry protEMBLCDS = null;
317     exon = MappingUtils.removeStartPositions(codonStart - 1, exon);
318     boolean noProteinDbref = true;
319
320     SequenceI product = null;
321     Mapping map = null;
322     if (prseq != null && prname != null && prid != null)
323     {
324       /*
325        * look for product in peptides list, if not found, add it
326        */
327       product = matcher.findIdMatch(prid);
328       if (product == null)
329       {
330         product = new Sequence(prid, prseq, 1, prseq.length());
331         product.setDescription(((prname.length() == 0) ? "Protein Product from "
332                 + sourceDb
333                 : prname));
334         peptides.add(product);
335         matcher.add(product);
336       }
337
338       // we have everything - create the mapping and perhaps the protein
339       // sequence
340       if (exon == null || exon.length == 0)
341       {
342         System.err
343                 .println("Implementation Notice: EMBLCDS records not properly supported yet - Making up the CDNA region of this sequence... may be incorrect ("
344                         + sourceDb + ":" + getAccession() + ")");
345         if (prseq.length() * 3 == (1 - codonStart + dna.getSequence().length))
346         {
347           System.err
348                   .println("Not allowing for additional stop codon at end of cDNA fragment... !");
349           // this might occur for CDS sequences where no features are
350           // marked.
351           exon = new int[] { dna.getStart() + (codonStart - 1),
352               dna.getEnd() };
353           map = new Mapping(product, exon, new int[] { 1, prseq.length() },
354                   3, 1);
355         }
356         if ((prseq.length() + 1) * 3 == (1 - codonStart + dna.getSequence().length))
357         {
358           System.err
359                   .println("Allowing for additional stop codon at end of cDNA fragment... will probably cause an error in VAMSAs!");
360           exon = new int[] { dna.getStart() + (codonStart - 1),
361               dna.getEnd() - 3 };
362           map = new Mapping(product, exon, new int[] { 1, prseq.length() },
363                   3, 1);
364         }
365       }
366       else
367       {
368         // Trim the exon mapping if necessary - the given product may only be a
369         // fragment of a larger protein. (EMBL:AY043181 is an example)
370
371         if (isEmblCdna)
372         {
373           // TODO: Add a DbRef back to the parent EMBL sequence with the exon
374           // map
375           // if given a dataset reference, search dataset for parent EMBL
376           // sequence if it exists and set its map
377           // make a new feature annotating the coding contig
378         }
379         else
380         {
381           // final product length truncation check
382           // TODO should from range include stop codon even if not in protein
383           // in order to include stop codon in CDS sequence (as done for
384           // Ensembl)?
385           int[] cdsRanges = adjustForProteinLength(prseq.length(), exon);
386           map = new Mapping(product, cdsRanges, new int[] { 1,
387               prseq.length() }, 3, 1);
388           // reconstruct the EMBLCDS entry
389           // TODO: this is only necessary when there codon annotation is
390           // complete (I think JBPNote)
391           DBRefEntry pcdnaref = new DBRefEntry();
392           pcdnaref.setAccessionId(prid);
393           pcdnaref.setSource(DBRefSource.EMBLCDS);
394           pcdnaref.setVersion(getSequenceVersion()); // same as parent EMBL
395                                                      // version.
396           MapList mp = new MapList(new int[] { 1, prseq.length() },
397                   new int[] { 1 + (codonStart - 1),
398                       (codonStart - 1) + 3 * prseq.length() }, 1, 3);
399           pcdnaref.setMap(new Mapping(mp));
400           if (product != null)
401           {
402             product.addDBRef(pcdnaref);
403             protEMBLCDS = new DBRefEntry(pcdnaref);
404             protEMBLCDS.setSource(DBRefSource.EMBLCDSProduct);
405             product.addDBRef(protEMBLCDS);
406           }
407         }
408       }
409       // add cds feature to dna seq - this may include the stop codon
410       for (int xint = 0; exon != null && xint < exon.length; xint += 2)
411       {
412         SequenceFeature sf = makeCdsFeature(exon, xint, prname, prid, vals,
413                 codonStart);
414         sf.setType(feature.getName()); // "CDS"
415         sf.setEnaLocation(feature.getLocation());
416         sf.setFeatureGroup(sourceDb);
417         dna.addSequenceFeature(sf);
418       }
419     }
420
421     /*
422      * add dbRefs to sequence, and mappings for Uniprot xrefs
423      */
424     if (feature.dbRefs != null)
425     {
426       boolean mappingUsed = false;
427       for (DBRefEntry ref : feature.dbRefs)
428       {
429         ref.setSource(DBRefUtils.getCanonicalName(ref.getSource()));
430         if (ref.getSource().equals(DBRefSource.UNIPROT))
431         {
432           String proteinSeqName = DBRefSource.UNIPROT + "|"
433                   + ref.getAccessionId();
434           if (map != null && map.getTo() != null)
435           {
436             if (mappingUsed)
437             {
438               /*
439                * two or more Uniprot xrefs for the same CDS - 
440                * each needs a distinct Mapping (as to a different sequence)
441                */
442               map = new Mapping(map);
443             }
444             mappingUsed = true;
445
446             /*
447              * try to locate the protein mapped to (possibly by a 
448              * previous CDS feature)
449              */
450             SequenceI proteinSeq = matcher.findIdMatch(proteinSeqName);
451             if (proteinSeq == null)
452             {
453               proteinSeq = new Sequence(proteinSeqName,
454                       product.getSequenceAsString());
455               matcher.add(proteinSeq);
456               peptides.add(proteinSeq);
457             }
458             map.setTo(proteinSeq);
459             map.getTo().addDBRef(
460                     new DBRefEntry(ref.getSource(), ref.getVersion(), ref
461                             .getAccessionId()));
462             ref.setMap(map);
463           }
464           noProteinDbref = false;
465         }
466         if (product != null)
467         {
468           DBRefEntry pref = new DBRefEntry(ref.getSource(),
469                   ref.getVersion(), ref.getAccessionId());
470           pref.setMap(null); // reference is direct
471           product.addDBRef(pref);
472           // Add converse mapping reference
473           if (map != null)
474           {
475             Mapping pmap = new Mapping(dna, map.getMap().getInverse());
476             pref = new DBRefEntry(sourceDb, getSequenceVersion(),
477                     this.getAccession());
478             pref.setMap(pmap);
479             if (map.getTo() != null)
480             {
481               map.getTo().addDBRef(pref);
482             }
483           }
484         }
485         dna.addDBRef(ref);
486       }
487       if (noProteinDbref && product != null)
488       {
489         // add protein coding reference to dna sequence so xref matches
490         if (protEMBLCDS == null)
491         {
492           protEMBLCDS = new DBRefEntry();
493           protEMBLCDS.setAccessionId(prid);
494           protEMBLCDS.setSource(DBRefSource.EMBLCDSProduct);
495           protEMBLCDS.setVersion(getSequenceVersion());
496           protEMBLCDS
497                   .setMap(new Mapping(product, map.getMap().getInverse()));
498         }
499         product.addDBRef(protEMBLCDS);
500
501         // Add converse mapping reference
502         if (map != null)
503         {
504           Mapping pmap = new Mapping(product, protEMBLCDS.getMap().getMap()
505                   .getInverse());
506           DBRefEntry ncMap = new DBRefEntry(protEMBLCDS);
507           ncMap.setMap(pmap);
508           if (map.getTo() != null)
509           {
510             dna.addDBRef(ncMap);
511           }
512         }
513       }
514     }
515   }
516
517   /**
518    * Helper method to construct a SequenceFeature for one cds range
519    * 
520    * @param exons
521    *          array of cds [start, end, ...] positions
522    * @param exonStartIndex
523    *          offset into the exons array
524    * @param proteinName
525    * @param proteinAccessionId
526    * @param vals
527    *          map of 'miscellaneous values' for feature
528    * @param codonStart
529    *          codon start position for CDS (1/2/3, normally 1)
530    * @return
531    */
532   protected SequenceFeature makeCdsFeature(int[] exons, int exonStartIndex,
533           String proteinName, String proteinAccessionId,
534           Map<String, String> vals, int codonStart)
535   {
536     int exonNumber = exonStartIndex / 2 + 1;
537     SequenceFeature sf = new SequenceFeature();
538     sf.setBegin(Math.min(exons[exonStartIndex], exons[exonStartIndex + 1]));
539     sf.setEnd(Math.max(exons[exonStartIndex], exons[exonStartIndex + 1]));
540     sf.setDescription(String.format("Exon %d for protein '%s' EMBLCDS:%s",
541             exonNumber, proteinName, proteinAccessionId));
542     sf.setPhase(String.valueOf(codonStart - 1));
543     sf.setStrand(exons[exonStartIndex] <= exons[exonStartIndex + 1] ? "+"
544             : "-");
545     sf.setValue(FeatureProperties.EXONPOS, exonNumber);
546     sf.setValue(FeatureProperties.EXONPRODUCT, proteinName);
547     if (!vals.isEmpty())
548     {
549       StringBuilder sb = new StringBuilder();
550       boolean first = true;
551       for (Entry<String, String> val : vals.entrySet())
552       {
553         if (!first)
554         {
555           sb.append(";");
556         }
557         sb.append(val.getKey()).append("=").append(val.getValue());
558         first = false;
559         sf.setValue(val.getKey(), val.getValue());
560       }
561       sf.setAttributes(sb.toString());
562     }
563     return sf;
564   }
565
566   /**
567    * Returns the CDS positions as a list of [start, end, start, end...]
568    * positions. If on the reverse strand, these will be in descending order.
569    * 
570    * @param feature
571    * @return
572    */
573   protected int[] getCdsRanges(EmblFeature feature)
574   {
575     if (feature.location == null)
576     {
577       return new int[] {};
578     }
579     List<int[]> ranges = DnaUtils.parseLocation(feature.location);
580     return ranges == null ? new int[] {} : listToArray(ranges);
581   }
582
583   /**
584    * Converts a list of [start, end] ranges to a single array of [start, end,
585    * start, end ...]
586    * 
587    * @param ranges
588    * @return
589    */
590   int[] listToArray(List<int[]> ranges)
591   {
592     int[] result = new int[ranges.size() * 2];
593     int i = 0;
594     for (int[] range : ranges)
595     {
596       result[i++] = range[0];
597       result[i++] = range[1];
598     }
599     return result;
600   }
601
602   /**
603    * truncate the last exon interval to the prlength'th codon
604    * 
605    * @param prlength
606    * @param exon
607    * @return new exon
608    */
609   static int[] adjustForProteinLength(int prlength, int[] exon)
610   {
611     if (prlength <= 0 || exon == null)
612     {
613       return exon;
614     }
615     int desiredCdsLength = prlength * 3;
616     int exonLength = MappingUtils.getLength(Arrays.asList(exon));
617
618     /*
619      * assuming here exon might include stop codon in addition to protein codons
620      */
621     if (desiredCdsLength == exonLength
622             || desiredCdsLength == exonLength - 3)
623     {
624       return exon;
625     }
626
627     int origxon[];
628     int sxpos = -1;
629     int endxon = 0;
630     origxon = new int[exon.length];
631     System.arraycopy(exon, 0, origxon, 0, exon.length);
632     int cdspos = 0;
633     for (int x = 0; x < exon.length; x += 2)
634     {
635       cdspos += Math.abs(exon[x + 1] - exon[x]) + 1;
636       if (desiredCdsLength <= cdspos)
637       {
638         // advanced beyond last codon.
639         sxpos = x;
640         if (desiredCdsLength != cdspos)
641         {
642           // System.err
643           // .println("Truncating final exon interval on region by "
644           // + (cdspos - cdslength));
645         }
646
647         /*
648          * shrink the final exon - reduce end position if forward
649          * strand, increase it if reverse
650          */
651         if (exon[x + 1] >= exon[x])
652         {
653           endxon = exon[x + 1] - cdspos + desiredCdsLength;
654         }
655         else
656         {
657           endxon = exon[x + 1] + cdspos - desiredCdsLength;
658         }
659         break;
660       }
661     }
662
663     if (sxpos != -1)
664     {
665       // and trim the exon interval set if necessary
666       int[] nxon = new int[sxpos + 2];
667       System.arraycopy(exon, 0, nxon, 0, sxpos + 2);
668       nxon[sxpos + 1] = endxon; // update the end boundary for the new exon
669                                 // set
670       exon = nxon;
671     }
672     return exon;
673   }
674
675   public String getSequenceVersion()
676   {
677     return sequenceVersion;
678   }
679
680   public void setSequenceVersion(String sequenceVersion)
681   {
682     this.sequenceVersion = sequenceVersion;
683   }
684
685   public String getSequenceLength()
686   {
687     return sequenceLength;
688   }
689
690   public void setSequenceLength(String sequenceLength)
691   {
692     this.sequenceLength = sequenceLength;
693   }
694
695   public String getEntryVersion()
696   {
697     return entryVersion;
698   }
699
700   public void setEntryVersion(String entryVersion)
701   {
702     this.entryVersion = entryVersion;
703   }
704
705   public String getMoleculeType()
706   {
707     return moleculeType;
708   }
709
710   public void setMoleculeType(String moleculeType)
711   {
712     this.moleculeType = moleculeType;
713   }
714
715   public String getTopology()
716   {
717     return topology;
718   }
719
720   public void setTopology(String topology)
721   {
722     this.topology = topology;
723   }
724
725   public String getTaxonomicDivision()
726   {
727     return taxonomicDivision;
728   }
729
730   public void setTaxonomicDivision(String taxonomicDivision)
731   {
732     this.taxonomicDivision = taxonomicDivision;
733   }
734
735   public String getDescription()
736   {
737     return description;
738   }
739
740   public void setDescription(String description)
741   {
742     this.description = description;
743   }
744
745   public String getFirstPublicDate()
746   {
747     return firstPublicDate;
748   }
749
750   public void setFirstPublicDate(String firstPublicDate)
751   {
752     this.firstPublicDate = firstPublicDate;
753   }
754
755   public String getFirstPublicRelease()
756   {
757     return firstPublicRelease;
758   }
759
760   public void setFirstPublicRelease(String firstPublicRelease)
761   {
762     this.firstPublicRelease = firstPublicRelease;
763   }
764
765   public String getLastUpdatedDate()
766   {
767     return lastUpdatedDate;
768   }
769
770   public void setLastUpdatedDate(String lastUpdatedDate)
771   {
772     this.lastUpdatedDate = lastUpdatedDate;
773   }
774
775   public String getLastUpdatedRelease()
776   {
777     return lastUpdatedRelease;
778   }
779
780   public void setLastUpdatedRelease(String lastUpdatedRelease)
781   {
782     this.lastUpdatedRelease = lastUpdatedRelease;
783   }
784
785   public String getDataClass()
786   {
787     return dataClass;
788   }
789
790   public void setDataClass(String dataClass)
791   {
792     this.dataClass = dataClass;
793   }
794 }