JAL-2106 JAL-2154 fix test for additional reference transferred from locus to CDS...
[jalview.git] / test / jalview / analysis / AlignmentUtilsTests.java
1 /*
2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
4  * 
5  * This file is part of Jalview.
6  * 
7  * Jalview is free software: you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License 
9  * as published by the Free Software Foundation, either version 3
10  * of the License, or (at your option) any later version.
11  *  
12  * Jalview is distributed in the hope that it will be useful, but 
13  * WITHOUT ANY WARRANTY; without even the implied warranty 
14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR 
15  * PURPOSE.  See the GNU General Public License for more details.
16  * 
17  * You should have received a copy of the GNU General Public License
18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
19  * The Jalview Authors are detailed in the 'AUTHORS' file.
20  */
21 package jalview.analysis;
22
23 import static org.testng.AssertJUnit.assertEquals;
24 import static org.testng.AssertJUnit.assertFalse;
25 import static org.testng.AssertJUnit.assertNotNull;
26 import static org.testng.AssertJUnit.assertNull;
27 import static org.testng.AssertJUnit.assertSame;
28 import static org.testng.AssertJUnit.assertTrue;
29
30 import jalview.analysis.AlignmentUtils.DnaVariant;
31 import jalview.datamodel.AlignedCodonFrame;
32 import jalview.datamodel.Alignment;
33 import jalview.datamodel.AlignmentAnnotation;
34 import jalview.datamodel.AlignmentI;
35 import jalview.datamodel.Annotation;
36 import jalview.datamodel.DBRefEntry;
37 import jalview.datamodel.Mapping;
38 import jalview.datamodel.SearchResults;
39 import jalview.datamodel.SearchResults.Match;
40 import jalview.datamodel.Sequence;
41 import jalview.datamodel.SequenceFeature;
42 import jalview.datamodel.SequenceI;
43 import jalview.io.AppletFormatAdapter;
44 import jalview.io.FormatAdapter;
45 import jalview.util.MapList;
46 import jalview.util.MappingUtils;
47
48 import java.io.IOException;
49 import java.util.ArrayList;
50 import java.util.Arrays;
51 import java.util.LinkedHashMap;
52 import java.util.List;
53 import java.util.Map;
54 import java.util.TreeMap;
55
56 import org.testng.annotations.Test;
57
58 public class AlignmentUtilsTests
59 {
60   public static Sequence ts = new Sequence("short",
61           "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklm");
62
63   @Test(groups = { "Functional" })
64   public void testExpandContext()
65   {
66     AlignmentI al = new Alignment(new Sequence[] {});
67     for (int i = 4; i < 14; i += 2)
68     {
69       SequenceI s1 = ts.deriveSequence().getSubSequence(i, i + 7);
70       al.addSequence(s1);
71     }
72     System.out.println(new AppletFormatAdapter().formatSequences("Clustal",
73             al, true));
74     for (int flnk = -1; flnk < 25; flnk++)
75     {
76       AlignmentI exp = AlignmentUtils.expandContext(al, flnk);
77       System.out.println("\nFlank size: " + flnk);
78       System.out.println(new AppletFormatAdapter().formatSequences(
79               "Clustal", exp, true));
80       if (flnk == -1)
81       {
82         /*
83          * Full expansion to complete sequences
84          */
85         for (SequenceI sq : exp.getSequences())
86         {
87           String ung = sq.getSequenceAsString().replaceAll("-+", "");
88           final String errorMsg = "Flanking sequence not the same as original dataset sequence.\n"
89                   + ung
90                   + "\n"
91                   + sq.getDatasetSequence().getSequenceAsString();
92           assertTrue(errorMsg, ung.equalsIgnoreCase(sq.getDatasetSequence()
93                   .getSequenceAsString()));
94         }
95       }
96       else if (flnk == 24)
97       {
98         /*
99          * Last sequence is fully expanded, others have leading gaps to match
100          */
101         assertTrue(exp.getSequenceAt(4).getSequenceAsString()
102                 .startsWith("abc"));
103         assertTrue(exp.getSequenceAt(3).getSequenceAsString()
104                 .startsWith("--abc"));
105         assertTrue(exp.getSequenceAt(2).getSequenceAsString()
106                 .startsWith("----abc"));
107         assertTrue(exp.getSequenceAt(1).getSequenceAsString()
108                 .startsWith("------abc"));
109         assertTrue(exp.getSequenceAt(0).getSequenceAsString()
110                 .startsWith("--------abc"));
111       }
112     }
113   }
114
115   /**
116    * Test that annotations are correctly adjusted by expandContext
117    */
118   @Test(groups = { "Functional" })
119   public void testExpandContext_annotation()
120   {
121     AlignmentI al = new Alignment(new Sequence[] {});
122     SequenceI ds = new Sequence("Seq1", "ABCDEFGHI");
123     // subsequence DEF:
124     SequenceI seq1 = ds.deriveSequence().getSubSequence(3, 6);
125     al.addSequence(seq1);
126
127     /*
128      * Annotate DEF with 4/5/6 respectively
129      */
130     Annotation[] anns = new Annotation[] { new Annotation(4),
131         new Annotation(5), new Annotation(6) };
132     AlignmentAnnotation ann = new AlignmentAnnotation("SS",
133             "secondary structure", anns);
134     seq1.addAlignmentAnnotation(ann);
135
136     /*
137      * The annotations array should match aligned positions
138      */
139     assertEquals(3, ann.annotations.length);
140     assertEquals(4, ann.annotations[0].value, 0.001);
141     assertEquals(5, ann.annotations[1].value, 0.001);
142     assertEquals(6, ann.annotations[2].value, 0.001);
143
144     /*
145      * Check annotation to sequence position mappings before expanding the
146      * sequence; these are set up in Sequence.addAlignmentAnnotation ->
147      * Annotation.setSequenceRef -> createSequenceMappings
148      */
149     assertNull(ann.getAnnotationForPosition(1));
150     assertNull(ann.getAnnotationForPosition(2));
151     assertNull(ann.getAnnotationForPosition(3));
152     assertEquals(4, ann.getAnnotationForPosition(4).value, 0.001);
153     assertEquals(5, ann.getAnnotationForPosition(5).value, 0.001);
154     assertEquals(6, ann.getAnnotationForPosition(6).value, 0.001);
155     assertNull(ann.getAnnotationForPosition(7));
156     assertNull(ann.getAnnotationForPosition(8));
157     assertNull(ann.getAnnotationForPosition(9));
158
159     /*
160      * Expand the subsequence to the full sequence abcDEFghi
161      */
162     AlignmentI expanded = AlignmentUtils.expandContext(al, -1);
163     assertEquals("abcDEFghi", expanded.getSequenceAt(0)
164             .getSequenceAsString());
165
166     /*
167      * Confirm the alignment and sequence have the same SS annotation,
168      * referencing the expanded sequence
169      */
170     ann = expanded.getSequenceAt(0).getAnnotation()[0];
171     assertSame(ann, expanded.getAlignmentAnnotation()[0]);
172     assertSame(expanded.getSequenceAt(0), ann.sequenceRef);
173
174     /*
175      * The annotations array should have null values except for annotated
176      * positions
177      */
178     assertNull(ann.annotations[0]);
179     assertNull(ann.annotations[1]);
180     assertNull(ann.annotations[2]);
181     assertEquals(4, ann.annotations[3].value, 0.001);
182     assertEquals(5, ann.annotations[4].value, 0.001);
183     assertEquals(6, ann.annotations[5].value, 0.001);
184     assertNull(ann.annotations[6]);
185     assertNull(ann.annotations[7]);
186     assertNull(ann.annotations[8]);
187
188     /*
189      * sequence position mappings should be unchanged
190      */
191     assertNull(ann.getAnnotationForPosition(1));
192     assertNull(ann.getAnnotationForPosition(2));
193     assertNull(ann.getAnnotationForPosition(3));
194     assertEquals(4, ann.getAnnotationForPosition(4).value, 0.001);
195     assertEquals(5, ann.getAnnotationForPosition(5).value, 0.001);
196     assertEquals(6, ann.getAnnotationForPosition(6).value, 0.001);
197     assertNull(ann.getAnnotationForPosition(7));
198     assertNull(ann.getAnnotationForPosition(8));
199     assertNull(ann.getAnnotationForPosition(9));
200   }
201
202   /**
203    * Test method that returns a map of lists of sequences by sequence name.
204    * 
205    * @throws IOException
206    */
207   @Test(groups = { "Functional" })
208   public void testGetSequencesByName() throws IOException
209   {
210     final String data = ">Seq1Name\nKQYL\n" + ">Seq2Name\nRFPW\n"
211             + ">Seq1Name\nABCD\n";
212     AlignmentI al = loadAlignment(data, "FASTA");
213     Map<String, List<SequenceI>> map = AlignmentUtils
214             .getSequencesByName(al);
215     assertEquals(2, map.keySet().size());
216     assertEquals(2, map.get("Seq1Name").size());
217     assertEquals("KQYL", map.get("Seq1Name").get(0).getSequenceAsString());
218     assertEquals("ABCD", map.get("Seq1Name").get(1).getSequenceAsString());
219     assertEquals(1, map.get("Seq2Name").size());
220     assertEquals("RFPW", map.get("Seq2Name").get(0).getSequenceAsString());
221   }
222
223   /**
224    * Helper method to load an alignment and ensure dataset sequences are set up.
225    * 
226    * @param data
227    * @param format
228    *          TODO
229    * @return
230    * @throws IOException
231    */
232   protected AlignmentI loadAlignment(final String data, String format)
233           throws IOException
234   {
235     AlignmentI a = new FormatAdapter().readFile(data,
236             AppletFormatAdapter.PASTE, format);
237     a.setDataset(null);
238     return a;
239   }
240
241   /**
242    * Test mapping of protein to cDNA, for the case where we have no sequence
243    * cross-references, so mappings are made first-served 1-1 where sequences
244    * translate.
245    * 
246    * @throws IOException
247    */
248   @Test(groups = { "Functional" })
249   public void testMapProteinAlignmentToCdna_noXrefs() throws IOException
250   {
251     List<SequenceI> protseqs = new ArrayList<SequenceI>();
252     protseqs.add(new Sequence("UNIPROT|V12345", "EIQ"));
253     protseqs.add(new Sequence("UNIPROT|V12346", "EIQ"));
254     protseqs.add(new Sequence("UNIPROT|V12347", "SAR"));
255     AlignmentI protein = new Alignment(protseqs.toArray(new SequenceI[3]));
256     protein.setDataset(null);
257
258     List<SequenceI> dnaseqs = new ArrayList<SequenceI>();
259     dnaseqs.add(new Sequence("EMBL|A11111", "TCAGCACGC")); // = SAR
260     dnaseqs.add(new Sequence("EMBL|A22222", "GAGATACAA")); // = EIQ
261     dnaseqs.add(new Sequence("EMBL|A33333", "GAAATCCAG")); // = EIQ
262     dnaseqs.add(new Sequence("EMBL|A44444", "GAAATTCAG")); // = EIQ
263     AlignmentI cdna = new Alignment(dnaseqs.toArray(new SequenceI[4]));
264     cdna.setDataset(null);
265
266     assertTrue(AlignmentUtils.mapProteinAlignmentToCdna(protein, cdna));
267
268     // 3 mappings made, each from 1 to 1 sequence
269     assertEquals(3, protein.getCodonFrames().size());
270     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(0)).size());
271     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(1)).size());
272     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(2)).size());
273
274     // V12345 mapped to A22222
275     AlignedCodonFrame acf = protein.getCodonFrame(protein.getSequenceAt(0))
276             .get(0);
277     assertEquals(1, acf.getdnaSeqs().length);
278     assertEquals(cdna.getSequenceAt(1).getDatasetSequence(),
279             acf.getdnaSeqs()[0]);
280     Mapping[] protMappings = acf.getProtMappings();
281     assertEquals(1, protMappings.length);
282     MapList mapList = protMappings[0].getMap();
283     assertEquals(3, mapList.getFromRatio());
284     assertEquals(1, mapList.getToRatio());
285     assertTrue(Arrays.equals(new int[] { 1, 9 }, mapList.getFromRanges()
286             .get(0)));
287     assertEquals(1, mapList.getFromRanges().size());
288     assertTrue(Arrays.equals(new int[] { 1, 3 },
289             mapList.getToRanges().get(0)));
290     assertEquals(1, mapList.getToRanges().size());
291
292     // V12346 mapped to A33333
293     acf = protein.getCodonFrame(protein.getSequenceAt(1)).get(0);
294     assertEquals(1, acf.getdnaSeqs().length);
295     assertEquals(cdna.getSequenceAt(2).getDatasetSequence(),
296             acf.getdnaSeqs()[0]);
297
298     // V12347 mapped to A11111
299     acf = protein.getCodonFrame(protein.getSequenceAt(2)).get(0);
300     assertEquals(1, acf.getdnaSeqs().length);
301     assertEquals(cdna.getSequenceAt(0).getDatasetSequence(),
302             acf.getdnaSeqs()[0]);
303
304     // no mapping involving the 'extra' A44444
305     assertTrue(protein.getCodonFrame(cdna.getSequenceAt(3)).isEmpty());
306   }
307
308   /**
309    * Test for the alignSequenceAs method that takes two sequences and a mapping.
310    */
311   @Test(groups = { "Functional" })
312   public void testAlignSequenceAs_withMapping_noIntrons()
313   {
314     MapList map = new MapList(new int[] { 1, 6 }, new int[] { 1, 2 }, 3, 1);
315
316     /*
317      * No existing gaps in dna:
318      */
319     checkAlignSequenceAs("GGGAAA", "-A-L-", false, false, map,
320             "---GGG---AAA");
321
322     /*
323      * Now introduce gaps in dna but ignore them when realigning.
324      */
325     checkAlignSequenceAs("-G-G-G-A-A-A-", "-A-L-", false, false, map,
326             "---GGG---AAA");
327
328     /*
329      * Now include gaps in dna when realigning. First retaining 'mapped' gaps
330      * only, i.e. those within the exon region.
331      */
332     checkAlignSequenceAs("-G-G--G-A--A-A-", "-A-L-", true, false, map,
333             "---G-G--G---A--A-A");
334
335     /*
336      * Include all gaps in dna when realigning (within and without the exon
337      * region). The leading gap, and the gaps between codons, are subsumed by
338      * the protein alignment gap.
339      */
340     checkAlignSequenceAs("-G-GG--AA-A---", "-A-L-", true, true, map,
341             "---G-GG---AA-A---");
342
343     /*
344      * Include only unmapped gaps in dna when realigning (outside the exon
345      * region). The leading gap, and the gaps between codons, are subsumed by
346      * the protein alignment gap.
347      */
348     checkAlignSequenceAs("-G-GG--AA-A-", "-A-L-", false, true, map,
349             "---GGG---AAA---");
350   }
351
352   /**
353    * Test for the alignSequenceAs method that takes two sequences and a mapping.
354    */
355   @Test(groups = { "Functional" })
356   public void testAlignSequenceAs_withMapping_withIntrons()
357   {
358     /*
359      * Exons at codon 2 (AAA) and 4 (TTT)
360      */
361     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
362             new int[] { 1, 2 }, 3, 1);
363
364     /*
365      * Simple case: no gaps in dna
366      */
367     checkAlignSequenceAs("GGGAAACCCTTTGGG", "--A-L-", false, false, map,
368             "GGG---AAACCCTTTGGG");
369
370     /*
371      * Add gaps to dna - but ignore when realigning.
372      */
373     checkAlignSequenceAs("-G-G-G--A--A---AC-CC-T-TT-GG-G-", "--A-L-",
374             false, false, map, "GGG---AAACCCTTTGGG");
375
376     /*
377      * Add gaps to dna - include within exons only when realigning.
378      */
379     checkAlignSequenceAs("-G-G-G--A--A---A-C-CC-T-TT-GG-G-", "--A-L-",
380             true, false, map, "GGG---A--A---ACCCT-TTGGG");
381
382     /*
383      * Include gaps outside exons only when realigning.
384      */
385     checkAlignSequenceAs("-G-G-G--A--A---A-C-CC-T-TT-GG-G-", "--A-L-",
386             false, true, map, "-G-G-GAAAC-CCTTT-GG-G-");
387
388     /*
389      * Include gaps following first intron if we are 'preserving mapped gaps'
390      */
391     checkAlignSequenceAs("-G-G-G--A--A---A-C-CC-T-TT-GG-G-", "--A-L-",
392             true, true, map, "-G-G-G--A--A---A-C-CC-T-TT-GG-G-");
393
394     /*
395      * Include all gaps in dna when realigning.
396      */
397     checkAlignSequenceAs("-G-G-G--A--A---A-C-CC-T-TT-GG-G-", "--A-L-",
398             true, true, map, "-G-G-G--A--A---A-C-CC-T-TT-GG-G-");
399   }
400
401   /**
402    * Test for the case where not all of the protein sequence is mapped to cDNA.
403    */
404   @Test(groups = { "Functional" })
405   public void testAlignSequenceAs_withMapping_withUnmappedProtein()
406   {
407     /*
408      * Exons at codon 2 (AAA) and 4 (TTT) mapped to A and P
409      */
410     final MapList map = new MapList(new int[] { 4, 6, 10, 12 }, new int[] {
411         1, 1, 3, 3 }, 3, 1);
412
413     /*
414      * -L- 'aligns' ccc------
415      */
416     checkAlignSequenceAs("gggAAAcccTTTggg", "-A-L-P-", false, false, map,
417             "gggAAAccc------TTTggg");
418   }
419
420   /**
421    * Helper method that performs and verifies the method under test.
422    * 
423    * @param alignee
424    *          the sequence to be realigned
425    * @param alignModel
426    *          the sequence whose alignment is to be copied
427    * @param preserveMappedGaps
428    * @param preserveUnmappedGaps
429    * @param map
430    * @param expected
431    */
432   protected void checkAlignSequenceAs(final String alignee,
433           final String alignModel, final boolean preserveMappedGaps,
434           final boolean preserveUnmappedGaps, MapList map,
435           final String expected)
436   {
437     SequenceI alignMe = new Sequence("Seq1", alignee);
438     alignMe.createDatasetSequence();
439     SequenceI alignFrom = new Sequence("Seq2", alignModel);
440     alignFrom.createDatasetSequence();
441     AlignedCodonFrame acf = new AlignedCodonFrame();
442     acf.addMap(alignMe.getDatasetSequence(), alignFrom.getDatasetSequence(), map);
443
444     AlignmentUtils.alignSequenceAs(alignMe, alignFrom, acf, "---", '-',
445             preserveMappedGaps, preserveUnmappedGaps);
446     assertEquals(expected, alignMe.getSequenceAsString());
447   }
448
449   /**
450    * Test for the alignSequenceAs method where we preserve gaps in introns only.
451    */
452   @Test(groups = { "Functional" })
453   public void testAlignSequenceAs_keepIntronGapsOnly()
454   {
455
456     /*
457      * Intron GGGAAA followed by exon CCCTTT
458      */
459     MapList map = new MapList(new int[] { 7, 12 }, new int[] { 1, 2 }, 3, 1);
460
461     checkAlignSequenceAs("GG-G-AA-A-C-CC-T-TT", "AL", false, true, map,
462             "GG-G-AA-ACCCTTT");
463   }
464
465   /**
466    * Test the method that realigns protein to match mapped codon alignment.
467    */
468   @Test(groups = { "Functional" })
469   public void testAlignProteinAsDna()
470   {
471     // seq1 codons are [1,2,3] [4,5,6] [7,8,9] [10,11,12]
472     SequenceI dna1 = new Sequence("Seq1", "TGCCATTACCAG-");
473     // seq2 codons are [1,3,4] [5,6,7] [8,9,10] [11,12,13]
474     SequenceI dna2 = new Sequence("Seq2", "T-GCCATTACCAG");
475     // seq3 codons are [1,2,3] [4,5,7] [8,9,10] [11,12,13]
476     SequenceI dna3 = new Sequence("Seq3", "TGCCA-TTACCAG");
477     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2, dna3 });
478     dna.setDataset(null);
479
480     // protein alignment will be realigned like dna
481     SequenceI prot1 = new Sequence("Seq1", "CHYQ");
482     SequenceI prot2 = new Sequence("Seq2", "CHYQ");
483     SequenceI prot3 = new Sequence("Seq3", "CHYQ");
484     SequenceI prot4 = new Sequence("Seq4", "R-QSV"); // unmapped, unchanged
485     AlignmentI protein = new Alignment(new SequenceI[] { prot1, prot2,
486         prot3, prot4 });
487     protein.setDataset(null);
488
489     MapList map = new MapList(new int[] { 1, 12 }, new int[] { 1, 4 }, 3, 1);
490     AlignedCodonFrame acf = new AlignedCodonFrame();
491     acf.addMap(dna1.getDatasetSequence(), prot1.getDatasetSequence(), map);
492     acf.addMap(dna2.getDatasetSequence(), prot2.getDatasetSequence(), map);
493     acf.addMap(dna3.getDatasetSequence(), prot3.getDatasetSequence(), map);
494     ArrayList<AlignedCodonFrame> acfs = new ArrayList<AlignedCodonFrame>();
495     acfs.add(acf);
496     protein.setCodonFrames(acfs);
497
498     /*
499      * Translated codon order is [1,2,3] [1,3,4] [4,5,6] [4,5,7] [5,6,7] [7,8,9]
500      * [8,9,10] [10,11,12] [11,12,13]
501      */
502     AlignmentUtils.alignProteinAsDna(protein, dna);
503     assertEquals("C-H--Y-Q-", prot1.getSequenceAsString());
504     assertEquals("-C--H-Y-Q", prot2.getSequenceAsString());
505     assertEquals("C--H--Y-Q", prot3.getSequenceAsString());
506     assertEquals("R-QSV", prot4.getSequenceAsString());
507   }
508
509   /**
510    * Test the method that tests whether a CDNA sequence translates to a protein
511    * sequence
512    */
513   @Test(groups = { "Functional" })
514   public void testTranslatesAs()
515   {
516     // null arguments check
517     assertFalse(AlignmentUtils.translatesAs(null, 0, null));
518     assertFalse(AlignmentUtils.translatesAs(new char[] { 't' }, 0, null));
519     assertFalse(AlignmentUtils.translatesAs(null, 0, new char[] { 'a' }));
520
521     // straight translation
522     assertTrue(AlignmentUtils.translatesAs("tttcccaaaggg".toCharArray(), 0,
523             "FPKG".toCharArray()));
524     // with extra start codon (not in protein)
525     assertTrue(AlignmentUtils.translatesAs("atgtttcccaaaggg".toCharArray(),
526             3, "FPKG".toCharArray()));
527     // with stop codon1 (not in protein)
528     assertTrue(AlignmentUtils.translatesAs("tttcccaaagggtaa".toCharArray(),
529             0, "FPKG".toCharArray()));
530     // with stop codon1 (in protein as *)
531     assertTrue(AlignmentUtils.translatesAs("tttcccaaagggtaa".toCharArray(),
532             0, "FPKG*".toCharArray()));
533     // with stop codon2 (not in protein)
534     assertTrue(AlignmentUtils.translatesAs("tttcccaaagggtag".toCharArray(),
535             0, "FPKG".toCharArray()));
536     // with stop codon3 (not in protein)
537     assertTrue(AlignmentUtils.translatesAs("tttcccaaagggtga".toCharArray(),
538             0, "FPKG".toCharArray()));
539     // with start and stop codon1
540     assertTrue(AlignmentUtils.translatesAs(
541             "atgtttcccaaagggtaa".toCharArray(), 3, "FPKG".toCharArray()));
542     // with start and stop codon1 (in protein as *)
543     assertTrue(AlignmentUtils.translatesAs(
544             "atgtttcccaaagggtaa".toCharArray(), 3, "FPKG*".toCharArray()));
545     // with start and stop codon2
546     assertTrue(AlignmentUtils.translatesAs(
547             "atgtttcccaaagggtag".toCharArray(), 3, "FPKG".toCharArray()));
548     // with start and stop codon3
549     assertTrue(AlignmentUtils.translatesAs(
550             "atgtttcccaaagggtga".toCharArray(), 3, "FPKG".toCharArray()));
551
552     // with embedded stop codons
553     assertTrue(AlignmentUtils.translatesAs(
554             "atgtttTAGcccaaaTAAgggtga".toCharArray(), 3,
555             "F*PK*G".toCharArray()));
556
557     // wrong protein
558     assertFalse(AlignmentUtils.translatesAs("tttcccaaaggg".toCharArray(),
559             0, "FPMG".toCharArray()));
560
561     // truncated dna
562     assertFalse(AlignmentUtils.translatesAs("tttcccaaagg".toCharArray(), 0,
563             "FPKG".toCharArray()));
564
565     // truncated protein
566     assertFalse(AlignmentUtils.translatesAs("tttcccaaaggg".toCharArray(),
567             0, "FPK".toCharArray()));
568
569     // overlong dna (doesn't end in stop codon)
570     assertFalse(AlignmentUtils.translatesAs(
571             "tttcccaaagggttt".toCharArray(), 0, "FPKG".toCharArray()));
572
573     // dna + stop codon + more
574     assertFalse(AlignmentUtils.translatesAs(
575             "tttcccaaagggttaga".toCharArray(), 0, "FPKG".toCharArray()));
576
577     // overlong protein
578     assertFalse(AlignmentUtils.translatesAs("tttcccaaaggg".toCharArray(),
579             0, "FPKGQ".toCharArray()));
580   }
581
582   /**
583    * Test mapping of protein to cDNA, for cases where the cDNA has start and/or
584    * stop codons in addition to the protein coding sequence.
585    * 
586    * @throws IOException
587    */
588   @Test(groups = { "Functional" })
589   public void testMapProteinAlignmentToCdna_withStartAndStopCodons()
590           throws IOException
591   {
592     List<SequenceI> protseqs = new ArrayList<SequenceI>();
593     protseqs.add(new Sequence("UNIPROT|V12345", "EIQ"));
594     protseqs.add(new Sequence("UNIPROT|V12346", "EIQ"));
595     protseqs.add(new Sequence("UNIPROT|V12347", "SAR"));
596     AlignmentI protein = new Alignment(protseqs.toArray(new SequenceI[3]));
597     protein.setDataset(null);
598
599     List<SequenceI> dnaseqs = new ArrayList<SequenceI>();
600     // start + SAR:
601     dnaseqs.add(new Sequence("EMBL|A11111", "ATGTCAGCACGC"));
602     // = EIQ + stop
603     dnaseqs.add(new Sequence("EMBL|A22222", "GAGATACAATAA"));
604     // = start +EIQ + stop
605     dnaseqs.add(new Sequence("EMBL|A33333", "ATGGAAATCCAGTAG"));
606     dnaseqs.add(new Sequence("EMBL|A44444", "GAAATTCAG"));
607     AlignmentI cdna = new Alignment(dnaseqs.toArray(new SequenceI[4]));
608     cdna.setDataset(null);
609
610     assertTrue(AlignmentUtils.mapProteinAlignmentToCdna(protein, cdna));
611
612     // 3 mappings made, each from 1 to 1 sequence
613     assertEquals(3, protein.getCodonFrames().size());
614     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(0)).size());
615     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(1)).size());
616     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(2)).size());
617
618     // V12345 mapped from A22222
619     AlignedCodonFrame acf = protein.getCodonFrame(protein.getSequenceAt(0))
620             .get(0);
621     assertEquals(1, acf.getdnaSeqs().length);
622     assertEquals(cdna.getSequenceAt(1).getDatasetSequence(),
623             acf.getdnaSeqs()[0]);
624     Mapping[] protMappings = acf.getProtMappings();
625     assertEquals(1, protMappings.length);
626     MapList mapList = protMappings[0].getMap();
627     assertEquals(3, mapList.getFromRatio());
628     assertEquals(1, mapList.getToRatio());
629     assertTrue(Arrays.equals(new int[] { 1, 9 }, mapList.getFromRanges()
630             .get(0)));
631     assertEquals(1, mapList.getFromRanges().size());
632     assertTrue(Arrays.equals(new int[] { 1, 3 },
633             mapList.getToRanges().get(0)));
634     assertEquals(1, mapList.getToRanges().size());
635
636     // V12346 mapped from A33333 starting position 4
637     acf = protein.getCodonFrame(protein.getSequenceAt(1)).get(0);
638     assertEquals(1, acf.getdnaSeqs().length);
639     assertEquals(cdna.getSequenceAt(2).getDatasetSequence(),
640             acf.getdnaSeqs()[0]);
641     protMappings = acf.getProtMappings();
642     assertEquals(1, protMappings.length);
643     mapList = protMappings[0].getMap();
644     assertEquals(3, mapList.getFromRatio());
645     assertEquals(1, mapList.getToRatio());
646     assertTrue(Arrays.equals(new int[] { 4, 12 }, mapList.getFromRanges()
647             .get(0)));
648     assertEquals(1, mapList.getFromRanges().size());
649     assertTrue(Arrays.equals(new int[] { 1, 3 },
650             mapList.getToRanges().get(0)));
651     assertEquals(1, mapList.getToRanges().size());
652
653     // V12347 mapped to A11111 starting position 4
654     acf = protein.getCodonFrame(protein.getSequenceAt(2)).get(0);
655     assertEquals(1, acf.getdnaSeqs().length);
656     assertEquals(cdna.getSequenceAt(0).getDatasetSequence(),
657             acf.getdnaSeqs()[0]);
658     protMappings = acf.getProtMappings();
659     assertEquals(1, protMappings.length);
660     mapList = protMappings[0].getMap();
661     assertEquals(3, mapList.getFromRatio());
662     assertEquals(1, mapList.getToRatio());
663     assertTrue(Arrays.equals(new int[] { 4, 12 }, mapList.getFromRanges()
664             .get(0)));
665     assertEquals(1, mapList.getFromRanges().size());
666     assertTrue(Arrays.equals(new int[] { 1, 3 },
667             mapList.getToRanges().get(0)));
668     assertEquals(1, mapList.getToRanges().size());
669
670     // no mapping involving the 'extra' A44444
671     assertTrue(protein.getCodonFrame(cdna.getSequenceAt(3)).isEmpty());
672   }
673
674   /**
675    * Test mapping of protein to cDNA, for the case where we have some sequence
676    * cross-references. Verify that 1-to-many mappings are made where
677    * cross-references exist and sequences are mappable.
678    * 
679    * @throws IOException
680    */
681   @Test(groups = { "Functional" })
682   public void testMapProteinAlignmentToCdna_withXrefs() throws IOException
683   {
684     List<SequenceI> protseqs = new ArrayList<SequenceI>();
685     protseqs.add(new Sequence("UNIPROT|V12345", "EIQ"));
686     protseqs.add(new Sequence("UNIPROT|V12346", "EIQ"));
687     protseqs.add(new Sequence("UNIPROT|V12347", "SAR"));
688     AlignmentI protein = new Alignment(protseqs.toArray(new SequenceI[3]));
689     protein.setDataset(null);
690
691     List<SequenceI> dnaseqs = new ArrayList<SequenceI>();
692     dnaseqs.add(new Sequence("EMBL|A11111", "TCAGCACGC")); // = SAR
693     dnaseqs.add(new Sequence("EMBL|A22222", "ATGGAGATACAA")); // = start + EIQ
694     dnaseqs.add(new Sequence("EMBL|A33333", "GAAATCCAG")); // = EIQ
695     dnaseqs.add(new Sequence("EMBL|A44444", "GAAATTCAG")); // = EIQ
696     dnaseqs.add(new Sequence("EMBL|A55555", "GAGATTCAG")); // = EIQ
697     AlignmentI cdna = new Alignment(dnaseqs.toArray(new SequenceI[5]));
698     cdna.setDataset(null);
699
700     // Xref A22222 to V12345 (should get mapped)
701     dnaseqs.get(1).addDBRef(new DBRefEntry("UNIPROT", "1", "V12345"));
702     // Xref V12345 to A44444 (should get mapped)
703     protseqs.get(0).addDBRef(new DBRefEntry("EMBL", "1", "A44444"));
704     // Xref A33333 to V12347 (sequence mismatch - should not get mapped)
705     dnaseqs.get(2).addDBRef(new DBRefEntry("UNIPROT", "1", "V12347"));
706     // as V12345 is mapped to A22222 and A44444, this leaves V12346 unmapped.
707     // it should get paired up with the unmapped A33333
708     // A11111 should be mapped to V12347
709     // A55555 is spare and has no xref so is not mapped
710
711     assertTrue(AlignmentUtils.mapProteinAlignmentToCdna(protein, cdna));
712
713     // 4 protein mappings made for 3 proteins, 2 to V12345, 1 each to V12346/7
714     assertEquals(3, protein.getCodonFrames().size());
715     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(0)).size());
716     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(1)).size());
717     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(2)).size());
718
719     // one mapping for each of the first 4 cDNA sequences
720     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(0)).size());
721     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(1)).size());
722     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(2)).size());
723     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(3)).size());
724
725     // V12345 mapped to A22222 and A44444
726     AlignedCodonFrame acf = protein.getCodonFrame(protein.getSequenceAt(0))
727             .get(0);
728     assertEquals(2, acf.getdnaSeqs().length);
729     assertEquals(cdna.getSequenceAt(1).getDatasetSequence(),
730             acf.getdnaSeqs()[0]);
731     assertEquals(cdna.getSequenceAt(3).getDatasetSequence(),
732             acf.getdnaSeqs()[1]);
733
734     // V12346 mapped to A33333
735     acf = protein.getCodonFrame(protein.getSequenceAt(1)).get(0);
736     assertEquals(1, acf.getdnaSeqs().length);
737     assertEquals(cdna.getSequenceAt(2).getDatasetSequence(),
738             acf.getdnaSeqs()[0]);
739
740     // V12347 mapped to A11111
741     acf = protein.getCodonFrame(protein.getSequenceAt(2)).get(0);
742     assertEquals(1, acf.getdnaSeqs().length);
743     assertEquals(cdna.getSequenceAt(0).getDatasetSequence(),
744             acf.getdnaSeqs()[0]);
745
746     // no mapping involving the 'extra' A55555
747     assertTrue(protein.getCodonFrame(cdna.getSequenceAt(4)).isEmpty());
748   }
749
750   /**
751    * Test mapping of protein to cDNA, for the case where we have some sequence
752    * cross-references. Verify that once we have made an xref mapping we don't
753    * also map un-xrefd sequeces.
754    * 
755    * @throws IOException
756    */
757   @Test(groups = { "Functional" })
758   public void testMapProteinAlignmentToCdna_prioritiseXrefs()
759           throws IOException
760   {
761     List<SequenceI> protseqs = new ArrayList<SequenceI>();
762     protseqs.add(new Sequence("UNIPROT|V12345", "EIQ"));
763     protseqs.add(new Sequence("UNIPROT|V12346", "EIQ"));
764     AlignmentI protein = new Alignment(
765             protseqs.toArray(new SequenceI[protseqs.size()]));
766     protein.setDataset(null);
767
768     List<SequenceI> dnaseqs = new ArrayList<SequenceI>();
769     dnaseqs.add(new Sequence("EMBL|A11111", "GAAATCCAG")); // = EIQ
770     dnaseqs.add(new Sequence("EMBL|A22222", "GAAATTCAG")); // = EIQ
771     AlignmentI cdna = new Alignment(dnaseqs.toArray(new SequenceI[dnaseqs
772             .size()]));
773     cdna.setDataset(null);
774
775     // Xref A22222 to V12345 (should get mapped)
776     // A11111 should then be mapped to the unmapped V12346
777     dnaseqs.get(1).addDBRef(new DBRefEntry("UNIPROT", "1", "V12345"));
778
779     assertTrue(AlignmentUtils.mapProteinAlignmentToCdna(protein, cdna));
780
781     // 2 protein mappings made
782     assertEquals(2, protein.getCodonFrames().size());
783     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(0)).size());
784     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(1)).size());
785
786     // one mapping for each of the cDNA sequences
787     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(0)).size());
788     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(1)).size());
789
790     // V12345 mapped to A22222
791     AlignedCodonFrame acf = protein.getCodonFrame(protein.getSequenceAt(0))
792             .get(0);
793     assertEquals(1, acf.getdnaSeqs().length);
794     assertEquals(cdna.getSequenceAt(1).getDatasetSequence(),
795             acf.getdnaSeqs()[0]);
796
797     // V12346 mapped to A11111
798     acf = protein.getCodonFrame(protein.getSequenceAt(1)).get(0);
799     assertEquals(1, acf.getdnaSeqs().length);
800     assertEquals(cdna.getSequenceAt(0).getDatasetSequence(),
801             acf.getdnaSeqs()[0]);
802   }
803
804   /**
805    * Test the method that shows or hides sequence annotations by type(s) and
806    * selection group.
807    */
808   @Test(groups = { "Functional" })
809   public void testShowOrHideSequenceAnnotations()
810   {
811     SequenceI seq1 = new Sequence("Seq1", "AAA");
812     SequenceI seq2 = new Sequence("Seq2", "BBB");
813     SequenceI seq3 = new Sequence("Seq3", "CCC");
814     Annotation[] anns = new Annotation[] { new Annotation(2f) };
815     AlignmentAnnotation ann1 = new AlignmentAnnotation("Structure", "ann1",
816             anns);
817     ann1.setSequenceRef(seq1);
818     AlignmentAnnotation ann2 = new AlignmentAnnotation("Structure", "ann2",
819             anns);
820     ann2.setSequenceRef(seq2);
821     AlignmentAnnotation ann3 = new AlignmentAnnotation("Structure", "ann3",
822             anns);
823     AlignmentAnnotation ann4 = new AlignmentAnnotation("Temp", "ann4", anns);
824     ann4.setSequenceRef(seq1);
825     AlignmentAnnotation ann5 = new AlignmentAnnotation("Temp", "ann5", anns);
826     ann5.setSequenceRef(seq2);
827     AlignmentAnnotation ann6 = new AlignmentAnnotation("Temp", "ann6", anns);
828     AlignmentI al = new Alignment(new SequenceI[] { seq1, seq2, seq3 });
829     al.addAnnotation(ann1); // Structure for Seq1
830     al.addAnnotation(ann2); // Structure for Seq2
831     al.addAnnotation(ann3); // Structure for no sequence
832     al.addAnnotation(ann4); // Temp for seq1
833     al.addAnnotation(ann5); // Temp for seq2
834     al.addAnnotation(ann6); // Temp for no sequence
835     List<String> types = new ArrayList<String>();
836     List<SequenceI> scope = new ArrayList<SequenceI>();
837
838     /*
839      * Set all sequence related Structure to hidden (ann1, ann2)
840      */
841     types.add("Structure");
842     AlignmentUtils.showOrHideSequenceAnnotations(al, types, null, false,
843             false);
844     assertFalse(ann1.visible);
845     assertFalse(ann2.visible);
846     assertTrue(ann3.visible); // not sequence-related, not affected
847     assertTrue(ann4.visible); // not Structure, not affected
848     assertTrue(ann5.visible); // "
849     assertTrue(ann6.visible); // not sequence-related, not affected
850
851     /*
852      * Set Temp in {seq1, seq3} to hidden
853      */
854     types.clear();
855     types.add("Temp");
856     scope.add(seq1);
857     scope.add(seq3);
858     AlignmentUtils.showOrHideSequenceAnnotations(al, types, scope, false,
859             false);
860     assertFalse(ann1.visible); // unchanged
861     assertFalse(ann2.visible); // unchanged
862     assertTrue(ann3.visible); // not sequence-related, not affected
863     assertFalse(ann4.visible); // Temp for seq1 hidden
864     assertTrue(ann5.visible); // not in scope, not affected
865     assertTrue(ann6.visible); // not sequence-related, not affected
866
867     /*
868      * Set Temp in all sequences to hidden
869      */
870     types.clear();
871     types.add("Temp");
872     scope.add(seq1);
873     scope.add(seq3);
874     AlignmentUtils.showOrHideSequenceAnnotations(al, types, null, false,
875             false);
876     assertFalse(ann1.visible); // unchanged
877     assertFalse(ann2.visible); // unchanged
878     assertTrue(ann3.visible); // not sequence-related, not affected
879     assertFalse(ann4.visible); // Temp for seq1 hidden
880     assertFalse(ann5.visible); // Temp for seq2 hidden
881     assertTrue(ann6.visible); // not sequence-related, not affected
882
883     /*
884      * Set all types in {seq1, seq3} to visible
885      */
886     types.clear();
887     scope.clear();
888     scope.add(seq1);
889     scope.add(seq3);
890     AlignmentUtils.showOrHideSequenceAnnotations(al, types, scope, true,
891             true);
892     assertTrue(ann1.visible); // Structure for seq1 set visible
893     assertFalse(ann2.visible); // not in scope, unchanged
894     assertTrue(ann3.visible); // not sequence-related, not affected
895     assertTrue(ann4.visible); // Temp for seq1 set visible
896     assertFalse(ann5.visible); // not in scope, unchanged
897     assertTrue(ann6.visible); // not sequence-related, not affected
898
899     /*
900      * Set all types in all scope to hidden
901      */
902     AlignmentUtils.showOrHideSequenceAnnotations(al, types, null, true,
903             false);
904     assertFalse(ann1.visible);
905     assertFalse(ann2.visible);
906     assertTrue(ann3.visible); // not sequence-related, not affected
907     assertFalse(ann4.visible);
908     assertFalse(ann5.visible);
909     assertTrue(ann6.visible); // not sequence-related, not affected
910   }
911
912   /**
913    * Tests for the method that checks if one sequence cross-references another
914    */
915   @Test(groups = { "Functional" })
916   public void testHasCrossRef()
917   {
918     assertFalse(AlignmentUtils.hasCrossRef(null, null));
919     SequenceI seq1 = new Sequence("EMBL|A12345", "ABCDEF");
920     assertFalse(AlignmentUtils.hasCrossRef(seq1, null));
921     assertFalse(AlignmentUtils.hasCrossRef(null, seq1));
922     SequenceI seq2 = new Sequence("UNIPROT|V20192", "ABCDEF");
923     assertFalse(AlignmentUtils.hasCrossRef(seq1, seq2));
924
925     // different ref
926     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "v20193"));
927     assertFalse(AlignmentUtils.hasCrossRef(seq1, seq2));
928
929     // case-insensitive; version number is ignored
930     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "v20192"));
931     assertTrue(AlignmentUtils.hasCrossRef(seq1, seq2));
932
933     // right case!
934     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "V20192"));
935     assertTrue(AlignmentUtils.hasCrossRef(seq1, seq2));
936     // test is one-way only
937     assertFalse(AlignmentUtils.hasCrossRef(seq2, seq1));
938   }
939
940   /**
941    * Tests for the method that checks if either sequence cross-references the
942    * other
943    */
944   @Test(groups = { "Functional" })
945   public void testHaveCrossRef()
946   {
947     assertFalse(AlignmentUtils.hasCrossRef(null, null));
948     SequenceI seq1 = new Sequence("EMBL|A12345", "ABCDEF");
949     assertFalse(AlignmentUtils.haveCrossRef(seq1, null));
950     assertFalse(AlignmentUtils.haveCrossRef(null, seq1));
951     SequenceI seq2 = new Sequence("UNIPROT|V20192", "ABCDEF");
952     assertFalse(AlignmentUtils.haveCrossRef(seq1, seq2));
953
954     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "V20192"));
955     assertTrue(AlignmentUtils.haveCrossRef(seq1, seq2));
956     // next is true for haveCrossRef, false for hasCrossRef
957     assertTrue(AlignmentUtils.haveCrossRef(seq2, seq1));
958
959     // now the other way round
960     seq1.setDBRefs(null);
961     seq2.addDBRef(new DBRefEntry("EMBL", "1", "A12345"));
962     assertTrue(AlignmentUtils.haveCrossRef(seq1, seq2));
963     assertTrue(AlignmentUtils.haveCrossRef(seq2, seq1));
964
965     // now both ways
966     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "V20192"));
967     assertTrue(AlignmentUtils.haveCrossRef(seq1, seq2));
968     assertTrue(AlignmentUtils.haveCrossRef(seq2, seq1));
969   }
970
971   /**
972    * Test the method that extracts the cds-only part of a dna alignment.
973    */
974   @Test(groups = { "Functional" })
975   public void testMakeCdsAlignment()
976   {
977     /*
978      * scenario:
979      *     dna1 --> [4, 6] [10,12]        --> pep1 
980      *     dna2 --> [1, 3] [7, 9] [13,15] --> pep1 
981      */
982     SequenceI dna1 = new Sequence("dna1", "aaaGGGcccTTTaaa");
983     SequenceI dna2 = new Sequence("dna2", "GGGcccTTTaaaCCC");
984     SequenceI pep1 = new Sequence("pep1", "GF");
985     SequenceI pep2 = new Sequence("pep2", "GFP");
986     pep1.addDBRef(new DBRefEntry("UNIPROT", "0", "pep1"));
987     pep2.addDBRef(new DBRefEntry("UNIPROT", "0", "pep2"));
988     dna1.createDatasetSequence();
989     dna2.createDatasetSequence();
990     pep1.createDatasetSequence();
991     pep2.createDatasetSequence();
992     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2 });
993     dna.setDataset(null);
994
995     /*
996      * need a sourceDbRef if we are to construct dbrefs to the CDS
997      * sequence from the dna contig sequences
998      */
999     DBRefEntry dbref = new DBRefEntry("ENSEMBL", "0", "dna1");
1000     dna1.getDatasetSequence().addDBRef(dbref);
1001     org.testng.Assert.assertEquals(dbref, dna1.getPrimaryDBRefs().get(0));
1002     dbref = new DBRefEntry("ENSEMBL", "0", "dna2");
1003     dna2.getDatasetSequence().addDBRef(dbref);
1004     org.testng.Assert.assertEquals(dbref, dna2.getPrimaryDBRefs().get(0));
1005
1006     /*
1007      * CDS sequences are 'discovered' from dna-to-protein mappings on the alignment
1008      * dataset (e.g. added from dbrefs by CrossRef.findXrefSequences)
1009      */
1010     MapList mapfordna1 = new MapList(new int[] { 4, 6, 10, 12 },
1011             new int[] { 1, 2 }, 3, 1);
1012     AlignedCodonFrame acf = new AlignedCodonFrame();
1013     acf.addMap(dna1.getDatasetSequence(), pep1.getDatasetSequence(),
1014             mapfordna1);
1015     dna.addCodonFrame(acf);
1016     MapList mapfordna2 = new MapList(new int[] { 1, 3, 7, 9, 13, 15 },
1017             new int[] { 1, 3 },
1018             3, 1);
1019     acf = new AlignedCodonFrame();
1020     acf.addMap(dna2.getDatasetSequence(), pep2.getDatasetSequence(),
1021             mapfordna2);
1022     dna.addCodonFrame(acf);
1023
1024     /*
1025      * In this case, mappings originally came from matching Uniprot accessions - so need an xref on dna involving those regions. These are normally constructed from CDS annotation
1026      */
1027     DBRefEntry dna1xref = new DBRefEntry("UNIPROT", "ENSEMBL", "pep1",
1028             new Mapping(mapfordna1));
1029     dna1.getDatasetSequence().addDBRef(dna1xref);
1030     DBRefEntry dna2xref = new DBRefEntry("UNIPROT", "ENSEMBL", "pep2",
1031             new Mapping(mapfordna2));
1032     dna2.getDatasetSequence().addDBRef(dna2xref);
1033
1034     /*
1035      * execute method under test:
1036      */
1037     AlignmentI cds = AlignmentUtils.makeCdsAlignment(new SequenceI[] {
1038         dna1, dna2 }, dna.getDataset(), null);
1039
1040     /*
1041      * verify cds sequences
1042      */
1043     assertEquals(2, cds.getSequences().size());
1044     assertEquals("GGGTTT", cds.getSequenceAt(0).getSequenceAsString());
1045     assertEquals("GGGTTTCCC", cds.getSequenceAt(1).getSequenceAsString());
1046
1047     /*
1048      * verify shared, extended alignment dataset
1049      */
1050     assertSame(dna.getDataset(), cds.getDataset());
1051     SequenceI cds1Dss = cds.getSequenceAt(0).getDatasetSequence();
1052     SequenceI cds2Dss = cds.getSequenceAt(1).getDatasetSequence();
1053     assertTrue(dna.getDataset().getSequences().contains(cds1Dss));
1054     assertTrue(dna.getDataset().getSequences().contains(cds2Dss));
1055
1056     /*
1057      * verify CDS has a dbref with mapping to peptide
1058      */
1059     assertNotNull(cds1Dss.getDBRefs());
1060     assertEquals(2, cds1Dss.getDBRefs().length);
1061     dbref = cds1Dss.getDBRefs()[0];
1062     assertEquals(dna1xref.getSource(), dbref.getSource());
1063     // version is via ensembl's primary ref
1064     assertEquals(dna1xref.getVersion(), dbref.getVersion());
1065     assertEquals(dna1xref.getAccessionId(), dbref.getAccessionId());
1066     assertNotNull(dbref.getMap());
1067     assertSame(pep1.getDatasetSequence(), dbref.getMap().getTo());
1068     MapList cdsMapping = new MapList(new int[] { 1, 6 },
1069             new int[] { 1, 2 }, 3, 1);
1070     assertEquals(cdsMapping, dbref.getMap().getMap());
1071
1072     /*
1073      * verify peptide has added a dbref with reverse mapping to CDS
1074      */
1075     assertNotNull(pep1.getDBRefs());
1076     // FIXME pep1.getDBRefs() is 1 - is that the correct behaviour ?
1077     assertEquals(2, pep1.getDBRefs().length);
1078     dbref = pep1.getDBRefs()[1];
1079     assertEquals("ENSEMBL", dbref.getSource());
1080     assertEquals("0", dbref.getVersion());
1081     assertEquals("CDS|dna1", dbref.getAccessionId());
1082     assertNotNull(dbref.getMap());
1083     assertSame(cds1Dss, dbref.getMap().getTo());
1084     assertEquals(cdsMapping.getInverse(), dbref.getMap().getMap());
1085
1086     /*
1087      * Verify mappings from CDS to peptide, cDNA to CDS, and cDNA to peptide
1088      * the mappings are on the shared alignment dataset
1089      * 6 mappings, 2*(DNA->CDS), 2*(DNA->Pep), 2*(CDS->Pep) 
1090      */
1091     List<AlignedCodonFrame> cdsMappings = cds.getDataset().getCodonFrames();
1092     assertEquals(6, cdsMappings.size());
1093
1094     /*
1095      * verify that mapping sets for dna and cds alignments are different
1096      * [not current behaviour - all mappings are on the alignment dataset]  
1097      */
1098     // select -> subselect type to test.
1099     // Assert.assertNotSame(dna.getCodonFrames(), cds.getCodonFrames());
1100     // assertEquals(4, dna.getCodonFrames().size());
1101     // assertEquals(4, cds.getCodonFrames().size());
1102
1103     /*
1104      * Two mappings involve pep1 (dna to pep1, cds to pep1)
1105      * Mapping from pep1 to GGGTTT in first new exon sequence
1106      */
1107     List<AlignedCodonFrame> pep1Mappings = MappingUtils
1108             .findMappingsForSequence(pep1, cdsMappings);
1109     assertEquals(2, pep1Mappings.size());
1110     List<AlignedCodonFrame> mappings = MappingUtils
1111             .findMappingsForSequence(cds.getSequenceAt(0), pep1Mappings);
1112     assertEquals(1, mappings.size());
1113
1114     // map G to GGG
1115     SearchResults sr = MappingUtils.buildSearchResults(pep1, 1, mappings);
1116     assertEquals(1, sr.getResults().size());
1117     Match m = sr.getResults().get(0);
1118     assertSame(cds1Dss, m.getSequence());
1119     assertEquals(1, m.getStart());
1120     assertEquals(3, m.getEnd());
1121     // map F to TTT
1122     sr = MappingUtils.buildSearchResults(pep1, 2, mappings);
1123     m = sr.getResults().get(0);
1124     assertSame(cds1Dss, m.getSequence());
1125     assertEquals(4, m.getStart());
1126     assertEquals(6, m.getEnd());
1127
1128     /*
1129      * Two mappings involve pep2 (dna to pep2, cds to pep2)
1130      * Verify mapping from pep2 to GGGTTTCCC in second new exon sequence
1131      */
1132     List<AlignedCodonFrame> pep2Mappings = MappingUtils
1133             .findMappingsForSequence(pep2, cdsMappings);
1134     assertEquals(2, pep2Mappings.size());
1135     mappings = MappingUtils.findMappingsForSequence(cds.getSequenceAt(1),
1136             pep2Mappings);
1137     assertEquals(1, mappings.size());
1138     // map G to GGG
1139     sr = MappingUtils.buildSearchResults(pep2, 1, mappings);
1140     assertEquals(1, sr.getResults().size());
1141     m = sr.getResults().get(0);
1142     assertSame(cds2Dss, m.getSequence());
1143     assertEquals(1, m.getStart());
1144     assertEquals(3, m.getEnd());
1145     // map F to TTT
1146     sr = MappingUtils.buildSearchResults(pep2, 2, mappings);
1147     m = sr.getResults().get(0);
1148     assertSame(cds2Dss, m.getSequence());
1149     assertEquals(4, m.getStart());
1150     assertEquals(6, m.getEnd());
1151     // map P to CCC
1152     sr = MappingUtils.buildSearchResults(pep2, 3, mappings);
1153     m = sr.getResults().get(0);
1154     assertSame(cds2Dss, m.getSequence());
1155     assertEquals(7, m.getStart());
1156     assertEquals(9, m.getEnd());
1157   }
1158
1159   /**
1160    * Test the method that makes a cds-only alignment from a DNA sequence and its
1161    * product mappings, for the case where there are multiple exon mappings to
1162    * different protein products.
1163    */
1164   @Test(groups = { "Functional" })
1165   public void testMakeCdsAlignment_multipleProteins()
1166   {
1167     SequenceI dna1 = new Sequence("dna1", "aaaGGGcccTTTaaa");
1168     SequenceI pep1 = new Sequence("pep1", "GF"); // GGGTTT
1169     SequenceI pep2 = new Sequence("pep2", "KP"); // aaaccc
1170     SequenceI pep3 = new Sequence("pep3", "KF"); // aaaTTT
1171     dna1.createDatasetSequence();
1172     pep1.createDatasetSequence();
1173     pep2.createDatasetSequence();
1174     pep3.createDatasetSequence();
1175     pep1.getDatasetSequence().addDBRef(
1176             new DBRefEntry("EMBLCDS", "2", "A12345"));
1177     pep2.getDatasetSequence().addDBRef(
1178             new DBRefEntry("EMBLCDS", "3", "A12346"));
1179     pep3.getDatasetSequence().addDBRef(
1180             new DBRefEntry("EMBLCDS", "4", "A12347"));
1181
1182     /*
1183      * Create the CDS alignment
1184      */
1185     AlignmentI dna = new Alignment(new SequenceI[] { dna1 });
1186     dna.setDataset(null);
1187
1188     /*
1189      * Make the mappings from dna to protein
1190      */
1191     // map ...GGG...TTT to GF
1192     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
1193             new int[] { 1, 2 }, 3, 1);
1194     AlignedCodonFrame acf = new AlignedCodonFrame();
1195     acf.addMap(dna1.getDatasetSequence(), pep1.getDatasetSequence(), map);
1196     dna.addCodonFrame(acf);
1197
1198     // map aaa...ccc to KP
1199     map = new MapList(new int[] { 1, 3, 7, 9 }, new int[] { 1, 2 }, 3, 1);
1200     acf = new AlignedCodonFrame();
1201     acf.addMap(dna1.getDatasetSequence(), pep2.getDatasetSequence(), map);
1202     dna.addCodonFrame(acf);
1203
1204     // map aaa......TTT to KF
1205     map = new MapList(new int[] { 1, 3, 10, 12 }, new int[] { 1, 2 }, 3, 1);
1206     acf = new AlignedCodonFrame();
1207     acf.addMap(dna1.getDatasetSequence(), pep3.getDatasetSequence(), map);
1208     dna.addCodonFrame(acf);
1209
1210     /*
1211      * execute method under test
1212      */
1213     AlignmentI cdsal = AlignmentUtils.makeCdsAlignment(
1214             new SequenceI[] { dna1 }, dna.getDataset(), null);
1215
1216     /*
1217      * Verify we have 3 cds sequences, mapped to pep1/2/3 respectively
1218      */
1219     List<SequenceI> cds = cdsal.getSequences();
1220     assertEquals(3, cds.size());
1221
1222     /*
1223      * verify shared, extended alignment dataset
1224      */
1225     assertSame(cdsal.getDataset(), dna.getDataset());
1226     assertTrue(dna.getDataset().getSequences()
1227             .contains(cds.get(0).getDatasetSequence()));
1228     assertTrue(dna.getDataset().getSequences()
1229             .contains(cds.get(1).getDatasetSequence()));
1230     assertTrue(dna.getDataset().getSequences()
1231             .contains(cds.get(2).getDatasetSequence()));
1232
1233     /*
1234      * verify aligned cds sequences and their xrefs
1235      */
1236     SequenceI cdsSeq = cds.get(0);
1237     assertEquals("GGGTTT", cdsSeq.getSequenceAsString());
1238     // assertEquals("dna1|A12345", cdsSeq.getName());
1239     assertEquals("CDS|dna1", cdsSeq.getName());
1240     // assertEquals(1, cdsSeq.getDBRefs().length);
1241     // DBRefEntry cdsRef = cdsSeq.getDBRefs()[0];
1242     // assertEquals("EMBLCDS", cdsRef.getSource());
1243     // assertEquals("2", cdsRef.getVersion());
1244     // assertEquals("A12345", cdsRef.getAccessionId());
1245
1246     cdsSeq = cds.get(1);
1247     assertEquals("aaaccc", cdsSeq.getSequenceAsString());
1248     // assertEquals("dna1|A12346", cdsSeq.getName());
1249     assertEquals("CDS|dna1", cdsSeq.getName());
1250     // assertEquals(1, cdsSeq.getDBRefs().length);
1251     // cdsRef = cdsSeq.getDBRefs()[0];
1252     // assertEquals("EMBLCDS", cdsRef.getSource());
1253     // assertEquals("3", cdsRef.getVersion());
1254     // assertEquals("A12346", cdsRef.getAccessionId());
1255
1256     cdsSeq = cds.get(2);
1257     assertEquals("aaaTTT", cdsSeq.getSequenceAsString());
1258     // assertEquals("dna1|A12347", cdsSeq.getName());
1259     assertEquals("CDS|dna1", cdsSeq.getName());
1260     // assertEquals(1, cdsSeq.getDBRefs().length);
1261     // cdsRef = cdsSeq.getDBRefs()[0];
1262     // assertEquals("EMBLCDS", cdsRef.getSource());
1263     // assertEquals("4", cdsRef.getVersion());
1264     // assertEquals("A12347", cdsRef.getAccessionId());
1265
1266     /*
1267      * Verify there are mappings from each cds sequence to its protein product
1268      * and also to its dna source
1269      */
1270     List<AlignedCodonFrame> newMappings = cdsal.getCodonFrames();
1271
1272     /*
1273      * 6 mappings involve dna1 (to pep1/2/3, cds1/2/3) 
1274      */
1275     List<AlignedCodonFrame> dnaMappings = MappingUtils
1276             .findMappingsForSequence(dna1, newMappings);
1277     assertEquals(6, dnaMappings.size());
1278
1279     /*
1280      * dna1 to pep1
1281      */
1282     List<AlignedCodonFrame> mappings = MappingUtils
1283             .findMappingsForSequence(pep1, dnaMappings);
1284     assertEquals(1, mappings.size());
1285     assertEquals(1, mappings.get(0).getMappings().size());
1286     assertSame(pep1.getDatasetSequence(), mappings.get(0).getMappings()
1287             .get(0).getMapping().getTo());
1288
1289     /*
1290      * dna1 to cds1
1291      */
1292     List<AlignedCodonFrame> dnaToCds1Mappings = MappingUtils
1293             .findMappingsForSequence(cds.get(0), dnaMappings);
1294     Mapping mapping = dnaToCds1Mappings.get(0).getMappings().get(0)
1295             .getMapping();
1296     assertSame(cds.get(0).getDatasetSequence(), mapping
1297             .getTo());
1298     assertEquals("G(1) in CDS should map to G(4) in DNA", 4, mapping
1299             .getMap().getToPosition(1));
1300
1301     /*
1302      * dna1 to pep2
1303      */
1304     mappings = MappingUtils.findMappingsForSequence(pep2, dnaMappings);
1305     assertEquals(1, mappings.size());
1306     assertEquals(1, mappings.get(0).getMappings().size());
1307     assertSame(pep2.getDatasetSequence(), mappings.get(0).getMappings()
1308             .get(0).getMapping().getTo());
1309
1310     /*
1311      * dna1 to cds2
1312      */
1313     List<AlignedCodonFrame> dnaToCds2Mappings = MappingUtils
1314             .findMappingsForSequence(cds.get(1), dnaMappings);
1315     mapping = dnaToCds2Mappings.get(0).getMappings().get(0).getMapping();
1316     assertSame(cds.get(1).getDatasetSequence(), mapping.getTo());
1317     assertEquals("c(4) in CDS should map to c(7) in DNA", 7, mapping
1318             .getMap().getToPosition(4));
1319
1320     /*
1321      * dna1 to pep3
1322      */
1323     mappings = MappingUtils.findMappingsForSequence(pep3, dnaMappings);
1324     assertEquals(1, mappings.size());
1325     assertEquals(1, mappings.get(0).getMappings().size());
1326     assertSame(pep3.getDatasetSequence(), mappings.get(0).getMappings()
1327             .get(0).getMapping().getTo());
1328
1329     /*
1330      * dna1 to cds3
1331      */
1332     List<AlignedCodonFrame> dnaToCds3Mappings = MappingUtils
1333             .findMappingsForSequence(cds.get(2), dnaMappings);
1334     mapping = dnaToCds3Mappings.get(0).getMappings().get(0).getMapping();
1335     assertSame(cds.get(2).getDatasetSequence(), mapping.getTo());
1336     assertEquals("T(4) in CDS should map to T(10) in DNA", 10, mapping
1337             .getMap().getToPosition(4));
1338   }
1339
1340   @Test(groups = { "Functional" })
1341   public void testIsMappable()
1342   {
1343     SequenceI dna1 = new Sequence("dna1", "cgCAGtgGT");
1344     SequenceI aa1 = new Sequence("aa1", "RSG");
1345     AlignmentI al1 = new Alignment(new SequenceI[] { dna1 });
1346     AlignmentI al2 = new Alignment(new SequenceI[] { aa1 });
1347
1348     assertFalse(AlignmentUtils.isMappable(null, null));
1349     assertFalse(AlignmentUtils.isMappable(al1, null));
1350     assertFalse(AlignmentUtils.isMappable(null, al1));
1351     assertFalse(AlignmentUtils.isMappable(al1, al1));
1352     assertFalse(AlignmentUtils.isMappable(al2, al2));
1353
1354     assertTrue(AlignmentUtils.isMappable(al1, al2));
1355     assertTrue(AlignmentUtils.isMappable(al2, al1));
1356   }
1357
1358   /**
1359    * Test creating a mapping when the sequences involved do not start at residue
1360    * 1
1361    * 
1362    * @throws IOException
1363    */
1364   @Test(groups = { "Functional" })
1365   public void testMapCdnaToProtein_forSubsequence()
1366           throws IOException
1367   {
1368     SequenceI prot = new Sequence("UNIPROT|V12345", "E-I--Q", 10, 12);
1369     prot.createDatasetSequence();
1370
1371     SequenceI dna = new Sequence("EMBL|A33333", "GAA--AT-C-CAG", 40, 48);
1372     dna.createDatasetSequence();
1373
1374     MapList map = AlignmentUtils.mapCdnaToProtein(prot, dna);
1375     assertEquals(10, map.getToLowest());
1376     assertEquals(12, map.getToHighest());
1377     assertEquals(40, map.getFromLowest());
1378     assertEquals(48, map.getFromHighest());
1379   }
1380
1381   /**
1382    * Test for the alignSequenceAs method where we have protein mapped to protein
1383    */
1384   @Test(groups = { "Functional" })
1385   public void testAlignSequenceAs_mappedProteinProtein()
1386   {
1387   
1388     SequenceI alignMe = new Sequence("Match", "MGAASEV");
1389     alignMe.createDatasetSequence();
1390     SequenceI alignFrom = new Sequence("Query", "LQTGYMGAASEVMFSPTRR");
1391     alignFrom.createDatasetSequence();
1392
1393     AlignedCodonFrame acf = new AlignedCodonFrame();
1394     // this is like a domain or motif match of part of a peptide sequence
1395     MapList map = new MapList(new int[] { 6, 12 }, new int[] { 1, 7 }, 1, 1);
1396     acf.addMap(alignFrom.getDatasetSequence(),
1397             alignMe.getDatasetSequence(), map);
1398     
1399     AlignmentUtils.alignSequenceAs(alignMe, alignFrom, acf, "-", '-', true,
1400             true);
1401     assertEquals("-----MGAASEV-------", alignMe.getSequenceAsString());
1402   }
1403
1404   /**
1405    * Test for the alignSequenceAs method where there are trailing unmapped
1406    * residues in the model sequence
1407    */
1408   @Test(groups = { "Functional" })
1409   public void testAlignSequenceAs_withTrailingPeptide()
1410   {
1411     // map first 3 codons to KPF; G is a trailing unmapped residue
1412     MapList map = new MapList(new int[] { 1, 9 }, new int[] { 1, 3 }, 3, 1);
1413   
1414     checkAlignSequenceAs("AAACCCTTT", "K-PFG", true, true, map,
1415             "AAA---CCCTTT---");
1416   }
1417
1418   /**
1419    * Tests for transferring features between mapped sequences
1420    */
1421   @Test(groups = { "Functional" })
1422   public void testTransferFeatures()
1423   {
1424     SequenceI dna = new Sequence("dna/20-34", "acgTAGcaaGCCcgt");
1425     SequenceI cds = new Sequence("cds/10-15", "TAGGCC");
1426
1427     // no overlap
1428     dna.addSequenceFeature(new SequenceFeature("type1", "desc1", 1, 2, 1f,
1429             null));
1430     // partial overlap - to [1, 1]
1431     dna.addSequenceFeature(new SequenceFeature("type2", "desc2", 3, 4, 2f,
1432             null));
1433     // exact overlap - to [1, 3]
1434     dna.addSequenceFeature(new SequenceFeature("type3", "desc3", 4, 6, 3f,
1435             null));
1436     // spanning overlap - to [2, 5]
1437     dna.addSequenceFeature(new SequenceFeature("type4", "desc4", 5, 11, 4f,
1438             null));
1439     // exactly overlaps whole mapped range [1, 6]
1440     dna.addSequenceFeature(new SequenceFeature("type5", "desc5", 4, 12, 5f,
1441             null));
1442     // no overlap (internal)
1443     dna.addSequenceFeature(new SequenceFeature("type6", "desc6", 7, 9, 6f,
1444             null));
1445     // no overlap (3' end)
1446     dna.addSequenceFeature(new SequenceFeature("type7", "desc7", 13, 15,
1447             7f, null));
1448     // overlap (3' end) - to [6, 6]
1449     dna.addSequenceFeature(new SequenceFeature("type8", "desc8", 12, 12,
1450             8f, null));
1451     // extended overlap - to [6, +]
1452     dna.addSequenceFeature(new SequenceFeature("type9", "desc9", 12, 13,
1453             9f, null));
1454
1455     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
1456             new int[] { 1, 6 }, 1, 1);
1457
1458     /*
1459      * transferFeatures() will build 'partial overlap' for regions
1460      * that partially overlap 5' or 3' (start or end) of target sequence
1461      */
1462     AlignmentUtils.transferFeatures(dna, cds, map, null);
1463     SequenceFeature[] sfs = cds.getSequenceFeatures();
1464     assertEquals(6, sfs.length);
1465
1466     SequenceFeature sf = sfs[0];
1467     assertEquals("type2", sf.getType());
1468     assertEquals("desc2", sf.getDescription());
1469     assertEquals(2f, sf.getScore());
1470     assertEquals(1, sf.getBegin());
1471     assertEquals(1, sf.getEnd());
1472
1473     sf = sfs[1];
1474     assertEquals("type3", sf.getType());
1475     assertEquals("desc3", sf.getDescription());
1476     assertEquals(3f, sf.getScore());
1477     assertEquals(1, sf.getBegin());
1478     assertEquals(3, sf.getEnd());
1479
1480     sf = sfs[2];
1481     assertEquals("type4", sf.getType());
1482     assertEquals(2, sf.getBegin());
1483     assertEquals(5, sf.getEnd());
1484
1485     sf = sfs[3];
1486     assertEquals("type5", sf.getType());
1487     assertEquals(1, sf.getBegin());
1488     assertEquals(6, sf.getEnd());
1489
1490     sf = sfs[4];
1491     assertEquals("type8", sf.getType());
1492     assertEquals(6, sf.getBegin());
1493     assertEquals(6, sf.getEnd());
1494
1495     sf = sfs[5];
1496     assertEquals("type9", sf.getType());
1497     assertEquals(6, sf.getBegin());
1498     assertEquals(6, sf.getEnd());
1499   }
1500
1501   /**
1502    * Tests for transferring features between mapped sequences
1503    */
1504   @Test(groups = { "Functional" })
1505   public void testTransferFeatures_withOmit()
1506   {
1507     SequenceI dna = new Sequence("dna/20-34", "acgTAGcaaGCCcgt");
1508     SequenceI cds = new Sequence("cds/10-15", "TAGGCC");
1509
1510     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
1511             new int[] { 1, 6 }, 1, 1);
1512   
1513     // [5, 11] maps to [2, 5]
1514     dna.addSequenceFeature(new SequenceFeature("type4", "desc4", 5, 11, 4f,
1515             null));
1516     // [4, 12] maps to [1, 6]
1517     dna.addSequenceFeature(new SequenceFeature("type5", "desc5", 4, 12, 5f,
1518             null));
1519     // [12, 12] maps to [6, 6]
1520     dna.addSequenceFeature(new SequenceFeature("type8", "desc8", 12, 12,
1521             8f, null));
1522   
1523     // desc4 and desc8 are the 'omit these' varargs
1524     AlignmentUtils.transferFeatures(dna, cds, map, null, "type4", "type8");
1525     SequenceFeature[] sfs = cds.getSequenceFeatures();
1526     assertEquals(1, sfs.length);
1527   
1528     SequenceFeature sf = sfs[0];
1529     assertEquals("type5", sf.getType());
1530     assertEquals(1, sf.getBegin());
1531     assertEquals(6, sf.getEnd());
1532   }
1533
1534   /**
1535    * Tests for transferring features between mapped sequences
1536    */
1537   @Test(groups = { "Functional" })
1538   public void testTransferFeatures_withSelect()
1539   {
1540     SequenceI dna = new Sequence("dna/20-34", "acgTAGcaaGCCcgt");
1541     SequenceI cds = new Sequence("cds/10-15", "TAGGCC");
1542   
1543     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
1544             new int[] { 1, 6 }, 1, 1);
1545   
1546     // [5, 11] maps to [2, 5]
1547     dna.addSequenceFeature(new SequenceFeature("type4", "desc4", 5, 11, 4f,
1548             null));
1549     // [4, 12] maps to [1, 6]
1550     dna.addSequenceFeature(new SequenceFeature("type5", "desc5", 4, 12, 5f,
1551             null));
1552     // [12, 12] maps to [6, 6]
1553     dna.addSequenceFeature(new SequenceFeature("type8", "desc8", 12, 12,
1554             8f, null));
1555   
1556     // "type5" is the 'select this type' argument
1557     AlignmentUtils.transferFeatures(dna, cds, map, "type5");
1558     SequenceFeature[] sfs = cds.getSequenceFeatures();
1559     assertEquals(1, sfs.length);
1560   
1561     SequenceFeature sf = sfs[0];
1562     assertEquals("type5", sf.getType());
1563     assertEquals(1, sf.getBegin());
1564     assertEquals(6, sf.getEnd());
1565   }
1566
1567   /**
1568    * Test the method that extracts the cds-only part of a dna alignment, for the
1569    * case where the cds should be aligned to match its nucleotide sequence.
1570    */
1571   @Test(groups = { "Functional" })
1572   public void testMakeCdsAlignment_alternativeTranscripts()
1573   {
1574     SequenceI dna1 = new Sequence("dna1", "aaaGGGCC-----CTTTaaaGGG");
1575     // alternative transcript of same dna skips CCC codon
1576     SequenceI dna2 = new Sequence("dna2", "aaaGGGCC-----cttTaaaGGG");
1577     // dna3 has no mapping (protein product) so should be ignored here
1578     SequenceI dna3 = new Sequence("dna3", "aaaGGGCCCCCGGGcttTaaaGGG");
1579     SequenceI pep1 = new Sequence("pep1", "GPFG");
1580     SequenceI pep2 = new Sequence("pep2", "GPG");
1581     dna1.createDatasetSequence();
1582     dna2.createDatasetSequence();
1583     dna3.createDatasetSequence();
1584     pep1.createDatasetSequence();
1585     pep2.createDatasetSequence();
1586
1587     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2, dna3 });
1588     dna.setDataset(null);
1589   
1590     MapList map = new MapList(new int[] { 4, 12, 16, 18 },
1591             new int[] { 1, 4 }, 3, 1);
1592     AlignedCodonFrame acf = new AlignedCodonFrame();
1593     acf.addMap(dna1.getDatasetSequence(), pep1.getDatasetSequence(), map);
1594     dna.addCodonFrame(acf);
1595     map = new MapList(new int[] { 4, 8, 12, 12, 16, 18 },
1596             new int[] { 1, 3 },
1597             3, 1);
1598     acf = new AlignedCodonFrame();
1599     acf.addMap(dna2.getDatasetSequence(), pep2.getDatasetSequence(), map);
1600     dna.addCodonFrame(acf);
1601   
1602     AlignmentI cds = AlignmentUtils.makeCdsAlignment(new SequenceI[] {
1603         dna1, dna2, dna3 }, dna.getDataset(), null);
1604     List<SequenceI> cdsSeqs = cds.getSequences();
1605     assertEquals(2, cdsSeqs.size());
1606     assertEquals("GGGCCCTTTGGG", cdsSeqs.get(0).getSequenceAsString());
1607     assertEquals("GGGCCTGGG", cdsSeqs.get(1).getSequenceAsString());
1608   
1609     /*
1610      * verify shared, extended alignment dataset
1611      */
1612     assertSame(dna.getDataset(), cds.getDataset());
1613     assertTrue(dna.getDataset().getSequences()
1614             .contains(cdsSeqs.get(0).getDatasetSequence()));
1615     assertTrue(dna.getDataset().getSequences()
1616             .contains(cdsSeqs.get(1).getDatasetSequence()));
1617
1618     /*
1619      * Verify 6 mappings: dna1 to cds1, cds1 to pep1, dna1 to pep1
1620      * and the same for dna2/cds2/pep2
1621      */
1622     List<AlignedCodonFrame> mappings = cds.getCodonFrames();
1623     assertEquals(6, mappings.size());
1624   
1625     /*
1626      * 2 mappings involve pep1
1627      */
1628     List<AlignedCodonFrame> pep1Mappings = MappingUtils
1629             .findMappingsForSequence(pep1, mappings);
1630     assertEquals(2, pep1Mappings.size());
1631
1632     /*
1633      * Get mapping of pep1 to cds1 and verify it
1634      * maps GPFG to 1-3,4-6,7-9,10-12
1635      */
1636     List<AlignedCodonFrame> pep1CdsMappings = MappingUtils
1637             .findMappingsForSequence(cds.getSequenceAt(0), pep1Mappings);
1638     assertEquals(1, pep1CdsMappings.size());
1639     SearchResults sr = MappingUtils.buildSearchResults(pep1, 1,
1640             pep1CdsMappings);
1641     assertEquals(1, sr.getResults().size());
1642     Match m = sr.getResults().get(0);
1643     assertEquals(cds.getSequenceAt(0).getDatasetSequence(),
1644             m.getSequence());
1645     assertEquals(1, m.getStart());
1646     assertEquals(3, m.getEnd());
1647     sr = MappingUtils.buildSearchResults(pep1, 2, pep1CdsMappings);
1648     m = sr.getResults().get(0);
1649     assertEquals(4, m.getStart());
1650     assertEquals(6, m.getEnd());
1651     sr = MappingUtils.buildSearchResults(pep1, 3, pep1CdsMappings);
1652     m = sr.getResults().get(0);
1653     assertEquals(7, m.getStart());
1654     assertEquals(9, m.getEnd());
1655     sr = MappingUtils.buildSearchResults(pep1, 4, pep1CdsMappings);
1656     m = sr.getResults().get(0);
1657     assertEquals(10, m.getStart());
1658     assertEquals(12, m.getEnd());
1659   
1660     /*
1661      * Get mapping of pep2 to cds2 and verify it
1662      * maps GPG in pep2 to 1-3,4-6,7-9 in second CDS sequence
1663      */
1664     List<AlignedCodonFrame> pep2Mappings = MappingUtils
1665             .findMappingsForSequence(pep2, mappings);
1666     assertEquals(2, pep2Mappings.size());
1667     List<AlignedCodonFrame> pep2CdsMappings = MappingUtils
1668             .findMappingsForSequence(cds.getSequenceAt(1), pep2Mappings);
1669     assertEquals(1, pep2CdsMappings.size());
1670     sr = MappingUtils.buildSearchResults(pep2, 1, pep2CdsMappings);
1671     assertEquals(1, sr.getResults().size());
1672     m = sr.getResults().get(0);
1673     assertEquals(cds.getSequenceAt(1).getDatasetSequence(),
1674             m.getSequence());
1675     assertEquals(1, m.getStart());
1676     assertEquals(3, m.getEnd());
1677     sr = MappingUtils.buildSearchResults(pep2, 2, pep2CdsMappings);
1678     m = sr.getResults().get(0);
1679     assertEquals(4, m.getStart());
1680     assertEquals(6, m.getEnd());
1681     sr = MappingUtils.buildSearchResults(pep2, 3, pep2CdsMappings);
1682     m = sr.getResults().get(0);
1683     assertEquals(7, m.getStart());
1684     assertEquals(9, m.getEnd());
1685   }
1686
1687   /**
1688    * Test the method that realigns protein to match mapped codon alignment.
1689    */
1690   @Test(groups = { "Functional" })
1691   public void testAlignProteinAsDna_incompleteStartCodon()
1692   {
1693     // seq1: incomplete start codon (not mapped), then [3, 11]
1694     SequenceI dna1 = new Sequence("Seq1", "ccAAA-TTT-GGG-");
1695     // seq2 codons are [4, 5], [8, 11]
1696     SequenceI dna2 = new Sequence("Seq2", "ccaAA-ttT-GGG-");
1697     // seq3 incomplete start codon at 'tt'
1698     SequenceI dna3 = new Sequence("Seq3", "ccaaa-ttt-GGG-");
1699     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2, dna3 });
1700     dna.setDataset(null);
1701   
1702     // prot1 has 'X' for incomplete start codon (not mapped)
1703     SequenceI prot1 = new Sequence("Seq1", "XKFG"); // X for incomplete start
1704     SequenceI prot2 = new Sequence("Seq2", "NG");
1705     SequenceI prot3 = new Sequence("Seq3", "XG"); // X for incomplete start
1706     AlignmentI protein = new Alignment(new SequenceI[] { prot1, prot2,
1707         prot3 });
1708     protein.setDataset(null);
1709   
1710     // map dna1 [3, 11] to prot1 [2, 4] KFG
1711     MapList map = new MapList(new int[] { 3, 11 }, new int[] { 2, 4 }, 3, 1);
1712     AlignedCodonFrame acf = new AlignedCodonFrame();
1713     acf.addMap(dna1.getDatasetSequence(), prot1.getDatasetSequence(), map);
1714
1715     // map dna2 [4, 5] [8, 11] to prot2 [1, 2] NG
1716     map = new MapList(new int[] { 4, 5, 8, 11 }, new int[] { 1, 2 }, 3, 1);
1717     acf.addMap(dna2.getDatasetSequence(), prot2.getDatasetSequence(), map);
1718
1719     // map dna3 [9, 11] to prot3 [2, 2] G
1720     map = new MapList(new int[] { 9, 11 }, new int[] { 2, 2 }, 3, 1);
1721     acf.addMap(dna3.getDatasetSequence(), prot3.getDatasetSequence(), map);
1722
1723     ArrayList<AlignedCodonFrame> acfs = new ArrayList<AlignedCodonFrame>();
1724     acfs.add(acf);
1725     protein.setCodonFrames(acfs);
1726
1727     /*
1728      * verify X is included in the aligned proteins, and placed just
1729      * before the first mapped residue 
1730      * CCT is between CCC and TTT
1731      */
1732     AlignmentUtils.alignProteinAsDna(protein, dna);
1733     assertEquals("XK-FG", prot1.getSequenceAsString());
1734     assertEquals("--N-G", prot2.getSequenceAsString());
1735     assertEquals("---XG", prot3.getSequenceAsString());
1736   }
1737
1738   /**
1739    * Tests for the method that maps the subset of a dna sequence that has CDS
1740    * (or subtype) feature - case where the start codon is incomplete.
1741    */
1742   @Test(groups = "Functional")
1743   public void testFindCdsPositions_fivePrimeIncomplete()
1744   {
1745     SequenceI dnaSeq = new Sequence("dna", "aaagGGCCCaaaTTTttt");
1746     dnaSeq.createDatasetSequence();
1747     SequenceI ds = dnaSeq.getDatasetSequence();
1748   
1749     // CDS for dna 5-6 (incomplete codon), 7-9
1750     SequenceFeature sf = new SequenceFeature("CDS", "", 5, 9, 0f, null);
1751     sf.setPhase("2"); // skip 2 bases to start of next codon
1752     ds.addSequenceFeature(sf);
1753     // CDS for dna 13-15
1754     sf = new SequenceFeature("CDS_predicted", "", 13, 15, 0f, null);
1755     ds.addSequenceFeature(sf);
1756   
1757     List<int[]> ranges = AlignmentUtils.findCdsPositions(dnaSeq);
1758   
1759     /*
1760      * check the mapping starts with the first complete codon
1761      */
1762     assertEquals(6, MappingUtils.getLength(ranges));
1763     assertEquals(2, ranges.size());
1764     assertEquals(7, ranges.get(0)[0]);
1765     assertEquals(9, ranges.get(0)[1]);
1766     assertEquals(13, ranges.get(1)[0]);
1767     assertEquals(15, ranges.get(1)[1]);
1768   }
1769
1770   /**
1771    * Tests for the method that maps the subset of a dna sequence that has CDS
1772    * (or subtype) feature.
1773    */
1774   @Test(groups = "Functional")
1775   public void testFindCdsPositions()
1776   {
1777     SequenceI dnaSeq = new Sequence("dna", "aaaGGGcccAAATTTttt");
1778     dnaSeq.createDatasetSequence();
1779     SequenceI ds = dnaSeq.getDatasetSequence();
1780   
1781     // CDS for dna 10-12
1782     SequenceFeature sf = new SequenceFeature("CDS_predicted", "", 10, 12,
1783             0f, null);
1784     sf.setStrand("+");
1785     ds.addSequenceFeature(sf);
1786     // CDS for dna 4-6
1787     sf = new SequenceFeature("CDS", "", 4, 6, 0f, null);
1788     sf.setStrand("+");
1789     ds.addSequenceFeature(sf);
1790     // exon feature should be ignored here
1791     sf = new SequenceFeature("exon", "", 7, 9, 0f, null);
1792     ds.addSequenceFeature(sf);
1793   
1794     List<int[]> ranges = AlignmentUtils.findCdsPositions(dnaSeq);
1795     /*
1796      * verify ranges { [4-6], [12-10] }
1797      * note CDS ranges are ordered ascending even if the CDS
1798      * features are not
1799      */
1800     assertEquals(6, MappingUtils.getLength(ranges));
1801     assertEquals(2, ranges.size());
1802     assertEquals(4, ranges.get(0)[0]);
1803     assertEquals(6, ranges.get(0)[1]);
1804     assertEquals(10, ranges.get(1)[0]);
1805     assertEquals(12, ranges.get(1)[1]);
1806   }
1807
1808   /**
1809    * Test the method that computes a map of codon variants for each protein
1810    * position from "sequence_variant" features on dna
1811    */
1812   @Test(groups = "Functional")
1813   public void testBuildDnaVariantsMap()
1814   {
1815     SequenceI dna = new Sequence("dna", "atgAAATTTGGGCCCtag");
1816     MapList map = new MapList(new int[] { 1, 18 }, new int[] { 1, 5 }, 3, 1);
1817
1818     /*
1819      * first with no variants on dna
1820      */
1821     LinkedHashMap<Integer, List<DnaVariant>[]> variantsMap = AlignmentUtils
1822             .buildDnaVariantsMap(dna, map);
1823     assertTrue(variantsMap.isEmpty());
1824
1825     /*
1826      * single allele codon 1, on base 1
1827      */
1828     SequenceFeature sf1 = new SequenceFeature("sequence_variant", "", 1, 1,
1829             0f, null);
1830     sf1.setValue("alleles", "T");
1831     sf1.setValue("ID", "sequence_variant:rs758803211");
1832     dna.addSequenceFeature(sf1);
1833
1834     /*
1835      * two alleles codon 2, on bases 2 and 3 (distinct variants)
1836      */
1837     SequenceFeature sf2 = new SequenceFeature("sequence_variant", "", 5, 5,
1838             0f, null);
1839     sf2.setValue("alleles", "T");
1840     sf2.setValue("ID", "sequence_variant:rs758803212");
1841     dna.addSequenceFeature(sf2);
1842     SequenceFeature sf3 = new SequenceFeature("sequence_variant", "", 6, 6,
1843             0f, null);
1844     sf3.setValue("alleles", "G");
1845     sf3.setValue("ID", "sequence_variant:rs758803213");
1846     dna.addSequenceFeature(sf3);
1847
1848     /*
1849      * two alleles codon 3, both on base 2 (one variant)
1850      */
1851     SequenceFeature sf4 = new SequenceFeature("sequence_variant", "", 8, 8,
1852             0f, null);
1853     sf4.setValue("alleles", "C, G");
1854     sf4.setValue("ID", "sequence_variant:rs758803214");
1855     dna.addSequenceFeature(sf4);
1856
1857     // no alleles on codon 4
1858
1859     /*
1860      * alleles on codon 5 on all 3 bases (distinct variants)
1861      */
1862     SequenceFeature sf5 = new SequenceFeature("sequence_variant", "", 13,
1863             13, 0f, null);
1864     sf5.setValue("alleles", "C, G"); // (C duplicates given base value)
1865     sf5.setValue("ID", "sequence_variant:rs758803215");
1866     dna.addSequenceFeature(sf5);
1867     SequenceFeature sf6 = new SequenceFeature("sequence_variant", "", 14,
1868             14, 0f, null);
1869     sf6.setValue("alleles", "g, a"); // should force to upper-case
1870     sf6.setValue("ID", "sequence_variant:rs758803216");
1871     dna.addSequenceFeature(sf6);
1872     SequenceFeature sf7 = new SequenceFeature("sequence_variant", "", 15,
1873             15, 0f, null);
1874     sf7.setValue("alleles", "A, T");
1875     sf7.setValue("ID", "sequence_variant:rs758803217");
1876     dna.addSequenceFeature(sf7);
1877
1878     /*
1879      * build map - expect variants on positions 1, 2, 3, 5
1880      */
1881     variantsMap = AlignmentUtils.buildDnaVariantsMap(dna, map);
1882     assertEquals(4, variantsMap.size());
1883
1884     /*
1885      * protein residue 1: variant on codon (ATG) base 1, not on 2 or 3
1886      */
1887     List<DnaVariant>[] pep1Variants = variantsMap.get(1);
1888     assertEquals(3, pep1Variants.length);
1889     assertEquals(1, pep1Variants[0].size());
1890     assertEquals("A", pep1Variants[0].get(0).base); // codon[1] base
1891     assertSame(sf1, pep1Variants[0].get(0).variant); // codon[1] variant
1892     assertEquals(1, pep1Variants[1].size());
1893     assertEquals("T", pep1Variants[1].get(0).base); // codon[2] base
1894     assertNull(pep1Variants[1].get(0).variant); // no variant here
1895     assertEquals(1, pep1Variants[2].size());
1896     assertEquals("G", pep1Variants[2].get(0).base); // codon[3] base
1897     assertNull(pep1Variants[2].get(0).variant); // no variant here
1898
1899     /*
1900      * protein residue 2: variants on codon (AAA) bases 2 and 3
1901      */
1902     List<DnaVariant>[] pep2Variants = variantsMap.get(2);
1903     assertEquals(3, pep2Variants.length);
1904     assertEquals(1, pep2Variants[0].size());
1905     // codon[1] base recorded while processing variant on codon[2]
1906     assertEquals("A", pep2Variants[0].get(0).base);
1907     assertNull(pep2Variants[0].get(0).variant); // no variant here
1908     // codon[2] base and variant:
1909     assertEquals(1, pep2Variants[1].size());
1910     assertEquals("A", pep2Variants[1].get(0).base);
1911     assertSame(sf2, pep2Variants[1].get(0).variant);
1912     // codon[3] base was recorded when processing codon[2] variant
1913     // and then the variant for codon[3] added to it
1914     assertEquals(1, pep2Variants[2].size());
1915     assertEquals("A", pep2Variants[2].get(0).base);
1916     assertSame(sf3, pep2Variants[2].get(0).variant);
1917
1918     /*
1919      * protein residue 3: variants on codon (TTT) base 2 only
1920      */
1921     List<DnaVariant>[] pep3Variants = variantsMap.get(3);
1922     assertEquals(3, pep3Variants.length);
1923     assertEquals(1, pep3Variants[0].size());
1924     assertEquals("T", pep3Variants[0].get(0).base); // codon[1] base
1925     assertNull(pep3Variants[0].get(0).variant); // no variant here
1926     assertEquals(1, pep3Variants[1].size());
1927     assertEquals("T", pep3Variants[1].get(0).base); // codon[2] base
1928     assertSame(sf4, pep3Variants[1].get(0).variant); // codon[2] variant
1929     assertEquals(1, pep3Variants[2].size());
1930     assertEquals("T", pep3Variants[2].get(0).base); // codon[3] base
1931     assertNull(pep3Variants[2].get(0).variant); // no variant here
1932
1933     /*
1934      * three variants on protein position 5
1935      */
1936     List<DnaVariant>[] pep5Variants = variantsMap.get(5);
1937     assertEquals(3, pep5Variants.length);
1938     assertEquals(1, pep5Variants[0].size());
1939     assertEquals("C", pep5Variants[0].get(0).base); // codon[1] base
1940     assertSame(sf5, pep5Variants[0].get(0).variant); // codon[1] variant
1941     assertEquals(1, pep5Variants[1].size());
1942     assertEquals("C", pep5Variants[1].get(0).base); // codon[2] base
1943     assertSame(sf6, pep5Variants[1].get(0).variant); // codon[2] variant
1944     assertEquals(1, pep5Variants[2].size());
1945     assertEquals("C", pep5Variants[2].get(0).base); // codon[3] base
1946     assertSame(sf7, pep5Variants[2].get(0).variant); // codon[3] variant
1947   }
1948
1949   /**
1950    * Tests for the method that computes all peptide variants given codon
1951    * variants
1952    */
1953   @Test(groups = "Functional")
1954   public void testComputePeptideVariants()
1955   {
1956     /*
1957      * scenario: AAATTTCCC codes for KFP, with variants
1958      *           GAA -> E
1959      *           CAA -> Q
1960      *           AAG synonymous
1961      *           AAT -> N
1962      *              TTC synonymous
1963      *                 CAC,CGC -> H,R (as one variant)
1964      */
1965     SequenceI peptide = new Sequence("pep/10-12", "KFP");
1966
1967     /*
1968      * two distinct variants for codon 1 position 1
1969      * second one has clinical significance
1970      */
1971     SequenceFeature sf1 = new SequenceFeature("sequence_variant", "", 1, 1,
1972             0f, null);
1973     sf1.setValue("alleles", "A,G"); // GAA -> E
1974     sf1.setValue("ID", "var1.125A>G");
1975     SequenceFeature sf2 = new SequenceFeature("sequence_variant", "", 1, 1,
1976             0f, null);
1977     sf2.setValue("alleles", "A,C"); // CAA -> Q
1978     sf2.setValue("ID", "var2");
1979     sf2.setValue("clinical_significance", "Dodgy");
1980     SequenceFeature sf3 = new SequenceFeature("sequence_variant", "", 3, 3,
1981             0f, null);
1982     sf3.setValue("alleles", "A,G"); // synonymous
1983     sf3.setValue("ID", "var3");
1984     sf3.setValue("clinical_significance", "None");
1985     SequenceFeature sf4 = new SequenceFeature("sequence_variant", "", 3, 3,
1986             0f, null);
1987     sf4.setValue("alleles", "A,T"); // AAT -> N
1988     sf4.setValue("ID", "sequence_variant:var4"); // prefix gets stripped off
1989     sf4.setValue("clinical_significance", "Benign");
1990     SequenceFeature sf5 = new SequenceFeature("sequence_variant", "", 6, 6,
1991             0f, null);
1992     sf5.setValue("alleles", "T,C"); // synonymous
1993     sf5.setValue("ID", "var5");
1994     sf5.setValue("clinical_significance", "Bad");
1995     SequenceFeature sf6 = new SequenceFeature("sequence_variant", "", 8, 8,
1996             0f, null);
1997     sf6.setValue("alleles", "C,A,G"); // CAC,CGC -> H,R
1998     sf6.setValue("ID", "var6");
1999     sf6.setValue("clinical_significance", "Good");
2000
2001     List<DnaVariant> codon1Variants = new ArrayList<DnaVariant>();
2002     List<DnaVariant> codon2Variants = new ArrayList<DnaVariant>();
2003     List<DnaVariant> codon3Variants = new ArrayList<DnaVariant>();
2004     List<DnaVariant> codonVariants[] = new ArrayList[3];
2005     codonVariants[0] = codon1Variants;
2006     codonVariants[1] = codon2Variants;
2007     codonVariants[2] = codon3Variants;
2008
2009     /*
2010      * compute variants for protein position 1
2011      */
2012     codon1Variants.add(new DnaVariant("A", sf1));
2013     codon1Variants.add(new DnaVariant("A", sf2));
2014     codon2Variants.add(new DnaVariant("A"));
2015     codon2Variants.add(new DnaVariant("A"));
2016     codon3Variants.add(new DnaVariant("A", sf3));
2017     codon3Variants.add(new DnaVariant("A", sf4));
2018     AlignmentUtils.computePeptideVariants(peptide, 1, codonVariants);
2019
2020     /*
2021      * compute variants for protein position 2
2022      */
2023     codon1Variants.clear();
2024     codon2Variants.clear();
2025     codon3Variants.clear();
2026     codon1Variants.add(new DnaVariant("T"));
2027     codon2Variants.add(new DnaVariant("T"));
2028     codon3Variants.add(new DnaVariant("T", sf5));
2029     AlignmentUtils.computePeptideVariants(peptide, 2, codonVariants);
2030
2031     /*
2032      * compute variants for protein position 3
2033      */
2034     codon1Variants.clear();
2035     codon2Variants.clear();
2036     codon3Variants.clear();
2037     codon1Variants.add(new DnaVariant("C"));
2038     codon2Variants.add(new DnaVariant("C", sf6));
2039     codon3Variants.add(new DnaVariant("C"));
2040     AlignmentUtils.computePeptideVariants(peptide, 3, codonVariants);
2041
2042     /*
2043      * verify added sequence features for
2044      * var1 K -> E
2045      * var2 K -> Q
2046      * var4 K -> N
2047      * var6 P -> H
2048      * var6 P -> R
2049      */
2050     SequenceFeature[] sfs = peptide.getSequenceFeatures();
2051     assertEquals(5, sfs.length);
2052     SequenceFeature sf = sfs[0];
2053     assertEquals(1, sf.getBegin());
2054     assertEquals(1, sf.getEnd());
2055     assertEquals("p.Lys1Glu", sf.getDescription());
2056     assertEquals("var1.125A>G", sf.getValue("ID"));
2057     assertNull(sf.getValue("clinical_significance"));
2058     assertEquals("ID=var1.125A>G", sf.getAttributes());
2059     assertEquals(1, sf.links.size());
2060     // link to variation is urlencoded
2061     assertEquals(
2062             "p.Lys1Glu var1.125A>G|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var1.125A%3EG",
2063             sf.links.get(0));
2064     assertEquals("Jalview", sf.getFeatureGroup());
2065     sf = sfs[1];
2066     assertEquals(1, sf.getBegin());
2067     assertEquals(1, sf.getEnd());
2068     assertEquals("p.Lys1Gln", sf.getDescription());
2069     assertEquals("var2", sf.getValue("ID"));
2070     assertEquals("Dodgy", sf.getValue("clinical_significance"));
2071     assertEquals("ID=var2;clinical_significance=Dodgy", sf.getAttributes());
2072     assertEquals(1, sf.links.size());
2073     assertEquals(
2074             "p.Lys1Gln var2|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var2",
2075             sf.links.get(0));
2076     assertEquals("Jalview", sf.getFeatureGroup());
2077     sf = sfs[2];
2078     assertEquals(1, sf.getBegin());
2079     assertEquals(1, sf.getEnd());
2080     assertEquals("p.Lys1Asn", sf.getDescription());
2081     assertEquals("var4", sf.getValue("ID"));
2082     assertEquals("Benign", sf.getValue("clinical_significance"));
2083     assertEquals("ID=var4;clinical_significance=Benign", sf.getAttributes());
2084     assertEquals(1, sf.links.size());
2085     assertEquals(
2086             "p.Lys1Asn var4|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var4",
2087             sf.links.get(0));
2088     assertEquals("Jalview", sf.getFeatureGroup());
2089     sf = sfs[3];
2090     assertEquals(3, sf.getBegin());
2091     assertEquals(3, sf.getEnd());
2092     assertEquals("p.Pro3His", sf.getDescription());
2093     assertEquals("var6", sf.getValue("ID"));
2094     assertEquals("Good", sf.getValue("clinical_significance"));
2095     assertEquals("ID=var6;clinical_significance=Good", sf.getAttributes());
2096     assertEquals(1, sf.links.size());
2097     assertEquals(
2098             "p.Pro3His var6|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var6",
2099             sf.links.get(0));
2100     // var5 generates two distinct protein variant features
2101     assertEquals("Jalview", sf.getFeatureGroup());
2102     sf = sfs[4];
2103     assertEquals(3, sf.getBegin());
2104     assertEquals(3, sf.getEnd());
2105     assertEquals("p.Pro3Arg", sf.getDescription());
2106     assertEquals("var6", sf.getValue("ID"));
2107     assertEquals("Good", sf.getValue("clinical_significance"));
2108     assertEquals("ID=var6;clinical_significance=Good", sf.getAttributes());
2109     assertEquals(1, sf.links.size());
2110     assertEquals(
2111             "p.Pro3Arg var6|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var6",
2112             sf.links.get(0));
2113     assertEquals("Jalview", sf.getFeatureGroup());
2114   }
2115
2116   /**
2117    * Tests for the method that maps the subset of a dna sequence that has CDS
2118    * (or subtype) feature, with CDS strand = '-' (reverse)
2119    */
2120   // test turned off as currently findCdsPositions is not strand-dependent
2121   // left in case it comes around again...
2122   @Test(groups = "Functional", enabled = false)
2123   public void testFindCdsPositions_reverseStrand()
2124   {
2125     SequenceI dnaSeq = new Sequence("dna", "aaaGGGcccAAATTTttt");
2126     dnaSeq.createDatasetSequence();
2127     SequenceI ds = dnaSeq.getDatasetSequence();
2128   
2129     // CDS for dna 4-6
2130     SequenceFeature sf = new SequenceFeature("CDS", "", 4, 6, 0f, null);
2131     sf.setStrand("-");
2132     ds.addSequenceFeature(sf);
2133     // exon feature should be ignored here
2134     sf = new SequenceFeature("exon", "", 7, 9, 0f, null);
2135     ds.addSequenceFeature(sf);
2136     // CDS for dna 10-12
2137     sf = new SequenceFeature("CDS_predicted", "", 10, 12, 0f, null);
2138     sf.setStrand("-");
2139     ds.addSequenceFeature(sf);
2140   
2141     List<int[]> ranges = AlignmentUtils.findCdsPositions(dnaSeq);
2142     /*
2143      * verify ranges { [12-10], [6-4] }
2144      */
2145     assertEquals(6, MappingUtils.getLength(ranges));
2146     assertEquals(2, ranges.size());
2147     assertEquals(12, ranges.get(0)[0]);
2148     assertEquals(10, ranges.get(0)[1]);
2149     assertEquals(6, ranges.get(1)[0]);
2150     assertEquals(4, ranges.get(1)[1]);
2151   }
2152
2153   /**
2154    * Tests for the method that maps the subset of a dna sequence that has CDS
2155    * (or subtype) feature - reverse strand case where the start codon is
2156    * incomplete.
2157    */
2158   @Test(groups = "Functional", enabled = false)
2159   // test turned off as currently findCdsPositions is not strand-dependent
2160   // left in case it comes around again...
2161   public void testFindCdsPositions_reverseStrandThreePrimeIncomplete()
2162   {
2163     SequenceI dnaSeq = new Sequence("dna", "aaagGGCCCaaaTTTttt");
2164     dnaSeq.createDatasetSequence();
2165     SequenceI ds = dnaSeq.getDatasetSequence();
2166   
2167     // CDS for dna 5-9
2168     SequenceFeature sf = new SequenceFeature("CDS", "", 5, 9, 0f, null);
2169     sf.setStrand("-");
2170     ds.addSequenceFeature(sf);
2171     // CDS for dna 13-15
2172     sf = new SequenceFeature("CDS_predicted", "", 13, 15, 0f, null);
2173     sf.setStrand("-");
2174     sf.setPhase("2"); // skip 2 bases to start of next codon
2175     ds.addSequenceFeature(sf);
2176   
2177     List<int[]> ranges = AlignmentUtils.findCdsPositions(dnaSeq);
2178   
2179     /*
2180      * check the mapping starts with the first complete codon
2181      * expect ranges [13, 13], [9, 5]
2182      */
2183     assertEquals(6, MappingUtils.getLength(ranges));
2184     assertEquals(2, ranges.size());
2185     assertEquals(13, ranges.get(0)[0]);
2186     assertEquals(13, ranges.get(0)[1]);
2187     assertEquals(9, ranges.get(1)[0]);
2188     assertEquals(5, ranges.get(1)[1]);
2189   }
2190
2191   @Test(groups = "Functional")
2192   public void testAlignAs_alternateTranscriptsUngapped()
2193   {
2194     SequenceI dna1 = new Sequence("dna1", "cccGGGTTTaaa");
2195     SequenceI dna2 = new Sequence("dna2", "CCCgggtttAAA");
2196     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2 });
2197     ((Alignment) dna).createDatasetAlignment();
2198     SequenceI cds1 = new Sequence("cds1", "GGGTTT");
2199     SequenceI cds2 = new Sequence("cds2", "CCCAAA");
2200     AlignmentI cds = new Alignment(new SequenceI[] { cds1, cds2 });
2201     ((Alignment) cds).createDatasetAlignment();
2202
2203     AlignedCodonFrame acf = new AlignedCodonFrame();
2204     MapList map = new MapList(new int[] { 4, 9 }, new int[] { 1, 6 }, 1, 1);
2205     acf.addMap(dna1.getDatasetSequence(), cds1.getDatasetSequence(), map);
2206     map = new MapList(new int[] { 1, 3, 10, 12 }, new int[] { 1, 6 }, 1, 1);
2207     acf.addMap(dna2.getDatasetSequence(), cds2.getDatasetSequence(), map);
2208
2209     /*
2210      * verify CDS alignment is as:
2211      *   cccGGGTTTaaa (cdna)
2212      *   CCCgggtttAAA (cdna)
2213      *   
2214      *   ---GGGTTT--- (cds)
2215      *   CCC------AAA (cds)
2216      */
2217     dna.addCodonFrame(acf);
2218     AlignmentUtils.alignAs(cds, dna);
2219     assertEquals("---GGGTTT", cds.getSequenceAt(0).getSequenceAsString());
2220     assertEquals("CCC------AAA", cds.getSequenceAt(1).getSequenceAsString());
2221   }
2222
2223   @Test(groups = { "Functional" })
2224   public void testAddMappedPositions()
2225   {
2226     SequenceI from = new Sequence("dna", "ggAA-ATcc-TT-g");
2227     SequenceI seq1 = new Sequence("cds", "AAATTT");
2228     from.createDatasetSequence();
2229     seq1.createDatasetSequence();
2230     Mapping mapping = new Mapping(seq1, new MapList(
2231             new int[] { 3, 6, 9, 10 },
2232             new int[] { 1, 6 }, 1, 1));
2233     Map<Integer, Map<SequenceI, Character>> map = new TreeMap<Integer, Map<SequenceI, Character>>();
2234     AlignmentUtils.addMappedPositions(seq1, from, mapping, map);
2235
2236     /*
2237      * verify map has seq1 residues in columns 3,4,6,7,11,12
2238      */
2239     assertEquals(6, map.size());
2240     assertEquals('A', map.get(3).get(seq1).charValue());
2241     assertEquals('A', map.get(4).get(seq1).charValue());
2242     assertEquals('A', map.get(6).get(seq1).charValue());
2243     assertEquals('T', map.get(7).get(seq1).charValue());
2244     assertEquals('T', map.get(11).get(seq1).charValue());
2245     assertEquals('T', map.get(12).get(seq1).charValue());
2246
2247     /*
2248      * 
2249      */
2250   }
2251
2252   /**
2253    * Test case where the mapping 'from' range includes a stop codon which is
2254    * absent in the 'to' range
2255    */
2256   @Test(groups = { "Functional" })
2257   public void testAddMappedPositions_withStopCodon()
2258   {
2259     SequenceI from = new Sequence("dna", "ggAA-ATcc-TT-g");
2260     SequenceI seq1 = new Sequence("cds", "AAATTT");
2261     from.createDatasetSequence();
2262     seq1.createDatasetSequence();
2263     Mapping mapping = new Mapping(seq1, new MapList(
2264             new int[] { 3, 6, 9, 10 },
2265             new int[] { 1, 6 }, 1, 1));
2266     Map<Integer, Map<SequenceI, Character>> map = new TreeMap<Integer, Map<SequenceI, Character>>();
2267     AlignmentUtils.addMappedPositions(seq1, from, mapping, map);
2268   
2269     /*
2270      * verify map has seq1 residues in columns 3,4,6,7,11,12
2271      */
2272     assertEquals(6, map.size());
2273     assertEquals('A', map.get(3).get(seq1).charValue());
2274     assertEquals('A', map.get(4).get(seq1).charValue());
2275     assertEquals('A', map.get(6).get(seq1).charValue());
2276     assertEquals('T', map.get(7).get(seq1).charValue());
2277     assertEquals('T', map.get(11).get(seq1).charValue());
2278     assertEquals('T', map.get(12).get(seq1).charValue());
2279   }
2280
2281   /**
2282    * Test for the case where the products for which we want CDS are specified.
2283    * This is to represent the case where EMBL has CDS mappings to both Uniprot
2284    * and EMBLCDSPROTEIN. makeCdsAlignment() should only return the mappings for
2285    * the protein sequences specified.
2286    */
2287   @Test(groups = { "Functional" })
2288   public void testMakeCdsAlignment_filterProducts()
2289   {
2290     SequenceI dna1 = new Sequence("dna1", "aaaGGGcccTTTaaa");
2291     SequenceI dna2 = new Sequence("dna2", "GGGcccTTTaaaCCC");
2292     SequenceI pep1 = new Sequence("Uniprot|pep1", "GF");
2293     SequenceI pep2 = new Sequence("Uniprot|pep2", "GFP");
2294     SequenceI pep3 = new Sequence("EMBL|pep3", "GF");
2295     SequenceI pep4 = new Sequence("EMBL|pep4", "GFP");
2296     dna1.createDatasetSequence();
2297     dna2.createDatasetSequence();
2298     pep1.createDatasetSequence();
2299     pep2.createDatasetSequence();
2300     pep3.createDatasetSequence();
2301     pep4.createDatasetSequence();
2302     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2 });
2303     dna.setDataset(null);
2304     AlignmentI emblPeptides = new Alignment(new SequenceI[] { pep3, pep4 });
2305     emblPeptides.setDataset(null);
2306   
2307     AlignedCodonFrame acf = new AlignedCodonFrame();
2308     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
2309             new int[] { 1, 2 }, 3, 1);
2310     acf.addMap(dna1.getDatasetSequence(), pep1.getDatasetSequence(), map);
2311     acf.addMap(dna1.getDatasetSequence(), pep3.getDatasetSequence(), map);
2312     dna.addCodonFrame(acf);
2313
2314     acf = new AlignedCodonFrame();
2315     map = new MapList(new int[] { 1, 3, 7, 9, 13, 15 }, new int[] { 1, 3 },
2316             3, 1);
2317     acf.addMap(dna2.getDatasetSequence(), pep2.getDatasetSequence(), map);
2318     acf.addMap(dna2.getDatasetSequence(), pep4.getDatasetSequence(), map);
2319     dna.addCodonFrame(acf);
2320   
2321     /*
2322      * execute method under test to find CDS for EMBL peptides only
2323      */
2324     AlignmentI cds = AlignmentUtils.makeCdsAlignment(new SequenceI[] {
2325         dna1, dna2 }, dna.getDataset(), emblPeptides.getSequencesArray());
2326   
2327     assertEquals(2, cds.getSequences().size());
2328     assertEquals("GGGTTT", cds.getSequenceAt(0).getSequenceAsString());
2329     assertEquals("GGGTTTCCC", cds.getSequenceAt(1).getSequenceAsString());
2330   
2331     /*
2332      * verify shared, extended alignment dataset
2333      */
2334     assertSame(dna.getDataset(), cds.getDataset());
2335     assertTrue(dna.getDataset().getSequences()
2336             .contains(cds.getSequenceAt(0).getDatasetSequence()));
2337     assertTrue(dna.getDataset().getSequences()
2338             .contains(cds.getSequenceAt(1).getDatasetSequence()));
2339   
2340     /*
2341      * Verify mappings from CDS to peptide, cDNA to CDS, and cDNA to peptide
2342      * the mappings are on the shared alignment dataset
2343      */
2344     List<AlignedCodonFrame> cdsMappings = cds.getDataset().getCodonFrames();
2345     /*
2346      * 6 mappings, 2*(DNA->CDS), 2*(DNA->Pep), 2*(CDS->Pep) 
2347      */
2348     assertEquals(6, cdsMappings.size());
2349   
2350     /*
2351      * verify that mapping sets for dna and cds alignments are different
2352      * [not current behaviour - all mappings are on the alignment dataset]  
2353      */
2354     // select -> subselect type to test.
2355     // Assert.assertNotSame(dna.getCodonFrames(), cds.getCodonFrames());
2356     // assertEquals(4, dna.getCodonFrames().size());
2357     // assertEquals(4, cds.getCodonFrames().size());
2358   
2359     /*
2360      * Two mappings involve pep3 (dna to pep3, cds to pep3)
2361      * Mapping from pep3 to GGGTTT in first new exon sequence
2362      */
2363     List<AlignedCodonFrame> pep3Mappings = MappingUtils
2364             .findMappingsForSequence(pep3, cdsMappings);
2365     assertEquals(2, pep3Mappings.size());
2366     List<AlignedCodonFrame> mappings = MappingUtils
2367             .findMappingsForSequence(cds.getSequenceAt(0), pep3Mappings);
2368     assertEquals(1, mappings.size());
2369   
2370     // map G to GGG
2371     SearchResults sr = MappingUtils.buildSearchResults(pep3, 1, mappings);
2372     assertEquals(1, sr.getResults().size());
2373     Match m = sr.getResults().get(0);
2374     assertSame(cds.getSequenceAt(0).getDatasetSequence(), m.getSequence());
2375     assertEquals(1, m.getStart());
2376     assertEquals(3, m.getEnd());
2377     // map F to TTT
2378     sr = MappingUtils.buildSearchResults(pep3, 2, mappings);
2379     m = sr.getResults().get(0);
2380     assertSame(cds.getSequenceAt(0).getDatasetSequence(), m.getSequence());
2381     assertEquals(4, m.getStart());
2382     assertEquals(6, m.getEnd());
2383   
2384     /*
2385      * Two mappings involve pep4 (dna to pep4, cds to pep4)
2386      * Verify mapping from pep4 to GGGTTTCCC in second new exon sequence
2387      */
2388     List<AlignedCodonFrame> pep4Mappings = MappingUtils
2389             .findMappingsForSequence(pep4, cdsMappings);
2390     assertEquals(2, pep4Mappings.size());
2391     mappings = MappingUtils.findMappingsForSequence(cds.getSequenceAt(1),
2392             pep4Mappings);
2393     assertEquals(1, mappings.size());
2394     // map G to GGG
2395     sr = MappingUtils.buildSearchResults(pep4, 1, mappings);
2396     assertEquals(1, sr.getResults().size());
2397     m = sr.getResults().get(0);
2398     assertSame(cds.getSequenceAt(1).getDatasetSequence(), m.getSequence());
2399     assertEquals(1, m.getStart());
2400     assertEquals(3, m.getEnd());
2401     // map F to TTT
2402     sr = MappingUtils.buildSearchResults(pep4, 2, mappings);
2403     m = sr.getResults().get(0);
2404     assertSame(cds.getSequenceAt(1).getDatasetSequence(), m.getSequence());
2405     assertEquals(4, m.getStart());
2406     assertEquals(6, m.getEnd());
2407     // map P to CCC
2408     sr = MappingUtils.buildSearchResults(pep4, 3, mappings);
2409     m = sr.getResults().get(0);
2410     assertSame(cds.getSequenceAt(1).getDatasetSequence(), m.getSequence());
2411     assertEquals(7, m.getStart());
2412     assertEquals(9, m.getEnd());
2413   }
2414
2415   /**
2416    * Test the method that just copies aligned sequences, provided all sequences
2417    * to be aligned share the aligned sequence's dataset
2418    */
2419   @Test(groups = "Functional")
2420   public void testAlignAsSameSequences()
2421   {
2422     SequenceI dna1 = new Sequence("dna1", "cccGGGTTTaaa");
2423     SequenceI dna2 = new Sequence("dna2", "CCCgggtttAAA");
2424     AlignmentI al1 = new Alignment(new SequenceI[] { dna1, dna2 });
2425     ((Alignment) al1).createDatasetAlignment();
2426
2427     SequenceI dna3 = new Sequence(dna1);
2428     SequenceI dna4 = new Sequence(dna2);
2429     assertSame(dna3.getDatasetSequence(), dna1.getDatasetSequence());
2430     assertSame(dna4.getDatasetSequence(), dna2.getDatasetSequence());
2431     String seq1 = "-cc-GG-GT-TT--aaa";
2432     dna3.setSequence(seq1);
2433     String seq2 = "C--C-Cgg--gtt-tAA-A-";
2434     dna4.setSequence(seq2);
2435     AlignmentI al2 = new Alignment(new SequenceI[] { dna3, dna4 });
2436     ((Alignment) al2).createDatasetAlignment();
2437     
2438     assertTrue(AlignmentUtils.alignAsSameSequences(al1, al2));
2439     assertEquals(seq1, al1.getSequenceAt(0).getSequenceAsString());
2440     assertEquals(seq2, al1.getSequenceAt(1).getSequenceAsString());
2441
2442     /*
2443      * add another sequence to 'aligned' - should still succeed, since
2444      * unaligned sequences still share a dataset with aligned sequences
2445      */
2446     SequenceI dna5 = new Sequence("dna5", "CCCgggtttAAA");
2447     dna5.createDatasetSequence();
2448     al2.addSequence(dna5);
2449     assertTrue(AlignmentUtils.alignAsSameSequences(al1, al2));
2450     assertEquals(seq1, al1.getSequenceAt(0).getSequenceAsString());
2451     assertEquals(seq2, al1.getSequenceAt(1).getSequenceAsString());
2452
2453     /*
2454      * add another sequence to 'unaligned' - should fail, since now not
2455      * all unaligned sequences share a dataset with aligned sequences
2456      */
2457     SequenceI dna6 = new Sequence("dna6", "CCCgggtttAAA");
2458     dna6.createDatasetSequence();
2459     al1.addSequence(dna6);
2460     // JAL-2110 JBP Comment: what's the use case for this behaviour ?
2461     assertFalse(AlignmentUtils.alignAsSameSequences(al1, al2));
2462   }
2463
2464   @Test(groups = "Functional")
2465   public void testAlignAsSameSequencesMultipleSubSeq()
2466   {
2467     SequenceI dna1 = new Sequence("dna1", "cccGGGTTTaaa");
2468     SequenceI dna2 = new Sequence("dna2", "CCCgggtttAAA");
2469     SequenceI as1 = dna1.deriveSequence();
2470     SequenceI as2 = dna1.deriveSequence().getSubSequence(3, 7);
2471     SequenceI as3 = dna2.deriveSequence();
2472     as1.insertCharAt(6, 5, '-');
2473     String s_as1 = as1.getSequenceAsString();
2474     as2.insertCharAt(6, 5, '-');
2475     String s_as2 = as2.getSequenceAsString();
2476     as3.insertCharAt(6, 5, '-');
2477     String s_as3 = as3.getSequenceAsString();
2478     AlignmentI aligned = new Alignment(new SequenceI[] { as1, as2, as3 });
2479
2480     // why do we need to cast this still ?
2481     ((Alignment) aligned).createDatasetAlignment();
2482     SequenceI uas1 = dna1.deriveSequence();
2483     SequenceI uas2 = dna1.deriveSequence().getSubSequence(3, 7);
2484     SequenceI uas3 = dna2.deriveSequence();
2485     AlignmentI tobealigned = new Alignment(new SequenceI[] { uas1, uas2,
2486         uas3 });
2487     ((Alignment) tobealigned).createDatasetAlignment();
2488
2489     assertTrue(AlignmentUtils.alignAsSameSequences(tobealigned, aligned));
2490     assertEquals(s_as1, uas1.getSequenceAsString());
2491     assertEquals(s_as2, uas2.getSequenceAsString());
2492     assertEquals(s_as3, uas3.getSequenceAsString());
2493   }
2494     
2495 }