test/jalview/analysis/AlignmentUtilsTests.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.analysis;
  22
  23 import static org.testng.AssertJUnit.assertEquals;
  24 import static org.testng.AssertJUnit.assertFalse;
  25 import static org.testng.AssertJUnit.assertNotNull;
  26 import static org.testng.AssertJUnit.assertNull;
  27 import static org.testng.AssertJUnit.assertSame;
  28 import static org.testng.AssertJUnit.assertTrue;
  29
  30 import jalview.analysis.AlignmentUtils.DnaVariant;
  31 import jalview.datamodel.AlignedCodonFrame;
  32 import jalview.datamodel.Alignment;
  33 import jalview.datamodel.AlignmentAnnotation;
  34 import jalview.datamodel.AlignmentI;
  35 import jalview.datamodel.Annotation;
  36 import jalview.datamodel.DBRefEntry;
  37 import jalview.datamodel.Mapping;
  38 import jalview.datamodel.SearchResults;
  39 import jalview.datamodel.SearchResults.Match;
  40 import jalview.datamodel.Sequence;
  41 import jalview.datamodel.SequenceFeature;
  42 import jalview.datamodel.SequenceI;
  43 import jalview.io.AppletFormatAdapter;
  44 import jalview.io.FormatAdapter;
  45 import jalview.util.MapList;
  46 import jalview.util.MappingUtils;
  47
  48 import java.io.IOException;
  49 import java.util.ArrayList;
  50 import java.util.Arrays;
  51 import java.util.LinkedHashMap;
  52 import java.util.List;
  53 import java.util.Map;
  54 import java.util.TreeMap;
  55
  56 import org.testng.annotations.Test;
  57
  58 public class AlignmentUtilsTests
  59 {
  60   public static Sequence ts = new Sequence("short",
  61           "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklm");
  62
  63   @Test(groups = { "Functional" })
  64   public void testExpandContext()
  65   {
  66     AlignmentI al = new Alignment(new Sequence[] {});
  67     for (int i = 4; i < 14; i += 2)
  68     {
  69       SequenceI s1 = ts.deriveSequence().getSubSequence(i, i + 7);
  70       al.addSequence(s1);
  71     }
  72     System.out.println(new AppletFormatAdapter().formatSequences("Clustal",
  73             al, true));
  74     for (int flnk = -1; flnk < 25; flnk++)
  75     {
  76       AlignmentI exp = AlignmentUtils.expandContext(al, flnk);
  77       System.out.println("\nFlank size: " + flnk);
  78       System.out.println(new AppletFormatAdapter().formatSequences(
  79               "Clustal", exp, true));
  80       if (flnk == -1)
  81       {
  82         /*
  83          * Full expansion to complete sequences
  84          */
  85         for (SequenceI sq : exp.getSequences())
  86         {
  87           String ung = sq.getSequenceAsString().replaceAll("-+", "");
  88           final String errorMsg = "Flanking sequence not the same as original dataset sequence.\n"
  89                   + ung
  90                   + "\n"
  91                   + sq.getDatasetSequence().getSequenceAsString();
  92           assertTrue(errorMsg, ung.equalsIgnoreCase(sq.getDatasetSequence()
  93                   .getSequenceAsString()));
  94         }
  95       }
  96       else if (flnk == 24)
  97       {
  98         /*
  99          * Last sequence is fully expanded, others have leading gaps to match
 100          */
 101         assertTrue(exp.getSequenceAt(4).getSequenceAsString()
 102                 .startsWith("abc"));
 103         assertTrue(exp.getSequenceAt(3).getSequenceAsString()
 104                 .startsWith("--abc"));
 105         assertTrue(exp.getSequenceAt(2).getSequenceAsString()
 106                 .startsWith("----abc"));
 107         assertTrue(exp.getSequenceAt(1).getSequenceAsString()
 108                 .startsWith("------abc"));
 109         assertTrue(exp.getSequenceAt(0).getSequenceAsString()
 110                 .startsWith("--------abc"));
 111       }
 112     }
 113   }
 114
 115   /**
 116    * Test that annotations are correctly adjusted by expandContext
 117    */
 118   @Test(groups = { "Functional" })
 119   public void testExpandContext_annotation()
 120   {
 121     AlignmentI al = new Alignment(new Sequence[] {});
 122     SequenceI ds = new Sequence("Seq1", "ABCDEFGHI");
 123     // subsequence DEF:
 124     SequenceI seq1 = ds.deriveSequence().getSubSequence(3, 6);
 125     al.addSequence(seq1);
 126
 127     /*
 128      * Annotate DEF with 4/5/6 respectively
 129      */
 130     Annotation[] anns = new Annotation[] { new Annotation(4),
 131         new Annotation(5), new Annotation(6) };
 132     AlignmentAnnotation ann = new AlignmentAnnotation("SS",
 133             "secondary structure", anns);
 134     seq1.addAlignmentAnnotation(ann);
 135
 136     /*
 137      * The annotations array should match aligned positions
 138      */
 139     assertEquals(3, ann.annotations.length);
 140     assertEquals(4, ann.annotations[0].value, 0.001);
 141     assertEquals(5, ann.annotations[1].value, 0.001);
 142     assertEquals(6, ann.annotations[2].value, 0.001);
 143
 144     /*
 145      * Check annotation to sequence position mappings before expanding the
 146      * sequence; these are set up in Sequence.addAlignmentAnnotation ->
 147      * Annotation.setSequenceRef -> createSequenceMappings
 148      */
 149     assertNull(ann.getAnnotationForPosition(1));
 150     assertNull(ann.getAnnotationForPosition(2));
 151     assertNull(ann.getAnnotationForPosition(3));
 152     assertEquals(4, ann.getAnnotationForPosition(4).value, 0.001);
 153     assertEquals(5, ann.getAnnotationForPosition(5).value, 0.001);
 154     assertEquals(6, ann.getAnnotationForPosition(6).value, 0.001);
 155     assertNull(ann.getAnnotationForPosition(7));
 156     assertNull(ann.getAnnotationForPosition(8));
 157     assertNull(ann.getAnnotationForPosition(9));
 158
 159     /*
 160      * Expand the subsequence to the full sequence abcDEFghi
 161      */
 162     AlignmentI expanded = AlignmentUtils.expandContext(al, -1);
 163     assertEquals("abcDEFghi", expanded.getSequenceAt(0)
 164             .getSequenceAsString());
 165
 166     /*
 167      * Confirm the alignment and sequence have the same SS annotation,
 168      * referencing the expanded sequence
 169      */
 170     ann = expanded.getSequenceAt(0).getAnnotation()[0];
 171     assertSame(ann, expanded.getAlignmentAnnotation()[0]);
 172     assertSame(expanded.getSequenceAt(0), ann.sequenceRef);
 173
 174     /*
 175      * The annotations array should have null values except for annotated
 176      * positions
 177      */
 178     assertNull(ann.annotations[0]);
 179     assertNull(ann.annotations[1]);
 180     assertNull(ann.annotations[2]);
 181     assertEquals(4, ann.annotations[3].value, 0.001);
 182     assertEquals(5, ann.annotations[4].value, 0.001);
 183     assertEquals(6, ann.annotations[5].value, 0.001);
 184     assertNull(ann.annotations[6]);
 185     assertNull(ann.annotations[7]);
 186     assertNull(ann.annotations[8]);
 187
 188     /*
 189      * sequence position mappings should be unchanged
 190      */
 191     assertNull(ann.getAnnotationForPosition(1));
 192     assertNull(ann.getAnnotationForPosition(2));
 193     assertNull(ann.getAnnotationForPosition(3));
 194     assertEquals(4, ann.getAnnotationForPosition(4).value, 0.001);
 195     assertEquals(5, ann.getAnnotationForPosition(5).value, 0.001);
 196     assertEquals(6, ann.getAnnotationForPosition(6).value, 0.001);
 197     assertNull(ann.getAnnotationForPosition(7));
 198     assertNull(ann.getAnnotationForPosition(8));
 199     assertNull(ann.getAnnotationForPosition(9));
 200   }
 201
 202   /**
 203    * Test method that returns a map of lists of sequences by sequence name.
 204    *
 205    * @throws IOException
 206    */
 207   @Test(groups = { "Functional" })
 208   public void testGetSequencesByName() throws IOException
 209   {
 210     final String data = ">Seq1Name\nKQYL\n" + ">Seq2Name\nRFPW\n"
 211             + ">Seq1Name\nABCD\n";
 212     AlignmentI al = loadAlignment(data, "FASTA");
 213     Map<String, List<SequenceI>> map = AlignmentUtils
 214             .getSequencesByName(al);
 215     assertEquals(2, map.keySet().size());
 216     assertEquals(2, map.get("Seq1Name").size());
 217     assertEquals("KQYL", map.get("Seq1Name").get(0).getSequenceAsString());
 218     assertEquals("ABCD", map.get("Seq1Name").get(1).getSequenceAsString());
 219     assertEquals(1, map.get("Seq2Name").size());
 220     assertEquals("RFPW", map.get("Seq2Name").get(0).getSequenceAsString());
 221   }
 222
 223   /**
 224    * Helper method to load an alignment and ensure dataset sequences are set up.
 225    *
 226    * @param data
 227    * @param format
 228    *          TODO
 229    * @return
 230    * @throws IOException
 231    */
 232   protected AlignmentI loadAlignment(final String data, String format)
 233           throws IOException
 234   {
 235     AlignmentI a = new FormatAdapter().readFile(data,
 236             AppletFormatAdapter.PASTE, format);
 237     a.setDataset(null);
 238     return a;
 239   }
 240
 241   /**
 242    * Test mapping of protein to cDNA, for the case where we have no sequence
 243    * cross-references, so mappings are made first-served 1-1 where sequences
 244    * translate.
 245    *
 246    * @throws IOException
 247    */
 248   @Test(groups = { "Functional" })
 249   public void testMapProteinAlignmentToCdna_noXrefs() throws IOException
 250   {
 251     List<SequenceI> protseqs = new ArrayList<SequenceI>();
 252     protseqs.add(new Sequence("UNIPROT|V12345", "EIQ"));
 253     protseqs.add(new Sequence("UNIPROT|V12346", "EIQ"));
 254     protseqs.add(new Sequence("UNIPROT|V12347", "SAR"));
 255     AlignmentI protein = new Alignment(protseqs.toArray(new SequenceI[3]));
 256     protein.setDataset(null);
 257
 258     List<SequenceI> dnaseqs = new ArrayList<SequenceI>();
 259     dnaseqs.add(new Sequence("EMBL|A11111", "TCAGCACGC")); // = SAR
 260     dnaseqs.add(new Sequence("EMBL|A22222", "GAGATACAA")); // = EIQ
 261     dnaseqs.add(new Sequence("EMBL|A33333", "GAAATCCAG")); // = EIQ
 262     dnaseqs.add(new Sequence("EMBL|A44444", "GAAATTCAG")); // = EIQ
 263     AlignmentI cdna = new Alignment(dnaseqs.toArray(new SequenceI[4]));
 264     cdna.setDataset(null);
 265
 266     assertTrue(AlignmentUtils.mapProteinAlignmentToCdna(protein, cdna));
 267
 268     // 3 mappings made, each from 1 to 1 sequence
 269     assertEquals(3, protein.getCodonFrames().size());
 270     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(0)).size());
 271     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(1)).size());
 272     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(2)).size());
 273
 274     // V12345 mapped to A22222
 275     AlignedCodonFrame acf = protein.getCodonFrame(protein.getSequenceAt(0))
 276             .get(0);
 277     assertEquals(1, acf.getdnaSeqs().length);
 278     assertEquals(cdna.getSequenceAt(1).getDatasetSequence(),
 279             acf.getdnaSeqs()[0]);
 280     Mapping[] protMappings = acf.getProtMappings();
 281     assertEquals(1, protMappings.length);
 282     MapList mapList = protMappings[0].getMap();
 283     assertEquals(3, mapList.getFromRatio());
 284     assertEquals(1, mapList.getToRatio());
 285     assertTrue(Arrays.equals(new int[] { 1, 9 }, mapList.getFromRanges()
 286             .get(0)));
 287     assertEquals(1, mapList.getFromRanges().size());
 288     assertTrue(Arrays.equals(new int[] { 1, 3 },
 289             mapList.getToRanges().get(0)));
 290     assertEquals(1, mapList.getToRanges().size());
 291
 292     // V12346 mapped to A33333
 293     acf = protein.getCodonFrame(protein.getSequenceAt(1)).get(0);
 294     assertEquals(1, acf.getdnaSeqs().length);
 295     assertEquals(cdna.getSequenceAt(2).getDatasetSequence(),
 296             acf.getdnaSeqs()[0]);
 297
 298     // V12347 mapped to A11111
 299     acf = protein.getCodonFrame(protein.getSequenceAt(2)).get(0);
 300     assertEquals(1, acf.getdnaSeqs().length);
 301     assertEquals(cdna.getSequenceAt(0).getDatasetSequence(),
 302             acf.getdnaSeqs()[0]);
 303
 304     // no mapping involving the 'extra' A44444
 305     assertTrue(protein.getCodonFrame(cdna.getSequenceAt(3)).isEmpty());
 306   }
 307
 308   /**
 309    * Test for the alignSequenceAs method that takes two sequences and a mapping.
 310    */
 311   @Test(groups = { "Functional" })
 312   public void testAlignSequenceAs_withMapping_noIntrons()
 313   {
 314     MapList map = new MapList(new int[] { 1, 6 }, new int[] { 1, 2 }, 3, 1);
 315
 316     /*
 317      * No existing gaps in dna:
 318      */
 319     checkAlignSequenceAs("GGGAAA", "-A-L-", false, false, map,
 320             "---GGG---AAA");
 321
 322     /*
 323      * Now introduce gaps in dna but ignore them when realigning.
 324      */
 325     checkAlignSequenceAs("-G-G-G-A-A-A-", "-A-L-", false, false, map,
 326             "---GGG---AAA");
 327
 328     /*
 329      * Now include gaps in dna when realigning. First retaining 'mapped' gaps
 330      * only, i.e. those within the exon region.
 331      */
 332     checkAlignSequenceAs("-G-G--G-A--A-A-", "-A-L-", true, false, map,
 333             "---G-G--G---A--A-A");
 334
 335     /*
 336      * Include all gaps in dna when realigning (within and without the exon
 337      * region). The leading gap, and the gaps between codons, are subsumed by
 338      * the protein alignment gap.
 339      */
 340     checkAlignSequenceAs("-G-GG--AA-A---", "-A-L-", true, true, map,
 341             "---G-GG---AA-A---");
 342
 343     /*
 344      * Include only unmapped gaps in dna when realigning (outside the exon
 345      * region). The leading gap, and the gaps between codons, are subsumed by
 346      * the protein alignment gap.
 347      */
 348     checkAlignSequenceAs("-G-GG--AA-A-", "-A-L-", false, true, map,
 349             "---GGG---AAA---");
 350   }
 351
 352   /**
 353    * Test for the alignSequenceAs method that takes two sequences and a mapping.
 354    */
 355   @Test(groups = { "Functional" })
 356   public void testAlignSequenceAs_withMapping_withIntrons()
 357   {
 358     /*
 359      * Exons at codon 2 (AAA) and 4 (TTT)
 360      */
 361     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
 362             new int[] { 1, 2 }, 3, 1);
 363
 364     /*
 365      * Simple case: no gaps in dna
 366      */
 367     checkAlignSequenceAs("GGGAAACCCTTTGGG", "--A-L-", false, false, map,
 368             "GGG---AAACCCTTTGGG");
 369
 370     /*
 371      * Add gaps to dna - but ignore when realigning.
 372      */
 373     checkAlignSequenceAs("-G-G-G--A--A---AC-CC-T-TT-GG-G-", "--A-L-",
 374             false, false, map, "GGG---AAACCCTTTGGG");
 375
 376     /*
 377      * Add gaps to dna - include within exons only when realigning.
 378      */
 379     checkAlignSequenceAs("-G-G-G--A--A---A-C-CC-T-TT-GG-G-", "--A-L-",
 380             true, false, map, "GGG---A--A---ACCCT-TTGGG");
 381
 382     /*
 383      * Include gaps outside exons only when realigning.
 384      */
 385     checkAlignSequenceAs("-G-G-G--A--A---A-C-CC-T-TT-GG-G-", "--A-L-",
 386             false, true, map, "-G-G-GAAAC-CCTTT-GG-G-");
 387
 388     /*
 389      * Include gaps following first intron if we are 'preserving mapped gaps'
 390      */
 391     checkAlignSequenceAs("-G-G-G--A--A---A-C-CC-T-TT-GG-G-", "--A-L-",
 392             true, true, map, "-G-G-G--A--A---A-C-CC-T-TT-GG-G-");
 393
 394     /*
 395      * Include all gaps in dna when realigning.
 396      */
 397     checkAlignSequenceAs("-G-G-G--A--A---A-C-CC-T-TT-GG-G-", "--A-L-",
 398             true, true, map, "-G-G-G--A--A---A-C-CC-T-TT-GG-G-");
 399   }
 400
 401   /**
 402    * Test for the case where not all of the protein sequence is mapped to cDNA.
 403    */
 404   @Test(groups = { "Functional" })
 405   public void testAlignSequenceAs_withMapping_withUnmappedProtein()
 406   {
 407     /*
 408      * Exons at codon 2 (AAA) and 4 (TTT) mapped to A and P
 409      */
 410     final MapList map = new MapList(new int[] { 4, 6, 10, 12 }, new int[] {
 411         1, 1, 3, 3 }, 3, 1);
 412
 413     /*
 414      * -L- 'aligns' ccc------
 415      */
 416     checkAlignSequenceAs("gggAAAcccTTTggg", "-A-L-P-", false, false, map,
 417             "gggAAAccc------TTTggg");
 418   }
 419
 420   /**
 421    * Helper method that performs and verifies the method under test.
 422    *
 423    * @param alignee
 424    *          the sequence to be realigned
 425    * @param alignModel
 426    *          the sequence whose alignment is to be copied
 427    * @param preserveMappedGaps
 428    * @param preserveUnmappedGaps
 429    * @param map
 430    * @param expected
 431    */
 432   protected void checkAlignSequenceAs(final String alignee,
 433           final String alignModel, final boolean preserveMappedGaps,
 434           final boolean preserveUnmappedGaps, MapList map,
 435           final String expected)
 436   {
 437     SequenceI alignMe = new Sequence("Seq1", alignee);
 438     alignMe.createDatasetSequence();
 439     SequenceI alignFrom = new Sequence("Seq2", alignModel);
 440     alignFrom.createDatasetSequence();
 441     AlignedCodonFrame acf = new AlignedCodonFrame();
 442     acf.addMap(alignMe.getDatasetSequence(), alignFrom.getDatasetSequence(), map);
 443
 444     AlignmentUtils.alignSequenceAs(alignMe, alignFrom, acf, "---", '-',
 445             preserveMappedGaps, preserveUnmappedGaps);
 446     assertEquals(expected, alignMe.getSequenceAsString());
 447   }
 448
 449   /**
 450    * Test for the alignSequenceAs method where we preserve gaps in introns only.
 451    */
 452   @Test(groups = { "Functional" })
 453   public void testAlignSequenceAs_keepIntronGapsOnly()
 454   {
 455
 456     /*
 457      * Intron GGGAAA followed by exon CCCTTT
 458      */
 459     MapList map = new MapList(new int[] { 7, 12 }, new int[] { 1, 2 }, 3, 1);
 460
 461     checkAlignSequenceAs("GG-G-AA-A-C-CC-T-TT", "AL", false, true, map,
 462             "GG-G-AA-ACCCTTT");
 463   }
 464
 465   /**
 466    * Test the method that realigns protein to match mapped codon alignment.
 467    */
 468   @Test(groups = { "Functional" })
 469   public void testAlignProteinAsDna()
 470   {
 471     // seq1 codons are [1,2,3] [4,5,6] [7,8,9] [10,11,12]
 472     SequenceI dna1 = new Sequence("Seq1", "TGCCATTACCAG-");
 473     // seq2 codons are [1,3,4] [5,6,7] [8,9,10] [11,12,13]
 474     SequenceI dna2 = new Sequence("Seq2", "T-GCCATTACCAG");
 475     // seq3 codons are [1,2,3] [4,5,7] [8,9,10] [11,12,13]
 476     SequenceI dna3 = new Sequence("Seq3", "TGCCA-TTACCAG");
 477     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2, dna3 });
 478     dna.setDataset(null);
 479
 480     // protein alignment will be realigned like dna
 481     SequenceI prot1 = new Sequence("Seq1", "CHYQ");
 482     SequenceI prot2 = new Sequence("Seq2", "CHYQ");
 483     SequenceI prot3 = new Sequence("Seq3", "CHYQ");
 484     SequenceI prot4 = new Sequence("Seq4", "R-QSV"); // unmapped, unchanged
 485     AlignmentI protein = new Alignment(new SequenceI[] { prot1, prot2,
 486         prot3, prot4 });
 487     protein.setDataset(null);
 488
 489     MapList map = new MapList(new int[] { 1, 12 }, new int[] { 1, 4 }, 3, 1);
 490     AlignedCodonFrame acf = new AlignedCodonFrame();
 491     acf.addMap(dna1.getDatasetSequence(), prot1.getDatasetSequence(), map);
 492     acf.addMap(dna2.getDatasetSequence(), prot2.getDatasetSequence(), map);
 493     acf.addMap(dna3.getDatasetSequence(), prot3.getDatasetSequence(), map);
 494     ArrayList<AlignedCodonFrame> acfs = new ArrayList<AlignedCodonFrame>();
 495     acfs.add(acf);
 496     protein.setCodonFrames(acfs);
 497
 498     /*
 499      * Translated codon order is [1,2,3] [1,3,4] [4,5,6] [4,5,7] [5,6,7] [7,8,9]
 500      * [8,9,10] [10,11,12] [11,12,13]
 501      */
 502     AlignmentUtils.alignProteinAsDna(protein, dna);
 503     assertEquals("C-H--Y-Q-", prot1.getSequenceAsString());
 504     assertEquals("-C--H-Y-Q", prot2.getSequenceAsString());
 505     assertEquals("C--H--Y-Q", prot3.getSequenceAsString());
 506     assertEquals("R-QSV", prot4.getSequenceAsString());
 507   }
 508
 509   /**
 510    * Test the method that tests whether a CDNA sequence translates to a protein
 511    * sequence
 512    */
 513   @Test(groups = { "Functional" })
 514   public void testTranslatesAs()
 515   {
 516     // null arguments check
 517     assertFalse(AlignmentUtils.translatesAs(null, 0, null));
 518     assertFalse(AlignmentUtils.translatesAs(new char[] { 't' }, 0, null));
 519     assertFalse(AlignmentUtils.translatesAs(null, 0, new char[] { 'a' }));
 520
 521     // straight translation
 522     assertTrue(AlignmentUtils.translatesAs("tttcccaaaggg".toCharArray(), 0,
 523             "FPKG".toCharArray()));
 524     // with extra start codon (not in protein)
 525     assertTrue(AlignmentUtils.translatesAs("atgtttcccaaaggg".toCharArray(),
 526             3, "FPKG".toCharArray()));
 527     // with stop codon1 (not in protein)
 528     assertTrue(AlignmentUtils.translatesAs("tttcccaaagggtaa".toCharArray(),
 529             0, "FPKG".toCharArray()));
 530     // with stop codon1 (in protein as *)
 531     assertTrue(AlignmentUtils.translatesAs("tttcccaaagggtaa".toCharArray(),
 532             0, "FPKG*".toCharArray()));
 533     // with stop codon2 (not in protein)
 534     assertTrue(AlignmentUtils.translatesAs("tttcccaaagggtag".toCharArray(),
 535             0, "FPKG".toCharArray()));
 536     // with stop codon3 (not in protein)
 537     assertTrue(AlignmentUtils.translatesAs("tttcccaaagggtga".toCharArray(),
 538             0, "FPKG".toCharArray()));
 539     // with start and stop codon1
 540     assertTrue(AlignmentUtils.translatesAs(
 541             "atgtttcccaaagggtaa".toCharArray(), 3, "FPKG".toCharArray()));
 542     // with start and stop codon1 (in protein as *)
 543     assertTrue(AlignmentUtils.translatesAs(
 544             "atgtttcccaaagggtaa".toCharArray(), 3, "FPKG*".toCharArray()));
 545     // with start and stop codon2
 546     assertTrue(AlignmentUtils.translatesAs(
 547             "atgtttcccaaagggtag".toCharArray(), 3, "FPKG".toCharArray()));
 548     // with start and stop codon3
 549     assertTrue(AlignmentUtils.translatesAs(
 550             "atgtttcccaaagggtga".toCharArray(), 3, "FPKG".toCharArray()));
 551
 552     // with embedded stop codons
 553     assertTrue(AlignmentUtils.translatesAs(
 554             "atgtttTAGcccaaaTAAgggtga".toCharArray(), 3,
 555             "F*PK*G".toCharArray()));
 556
 557     // wrong protein
 558     assertFalse(AlignmentUtils.translatesAs("tttcccaaaggg".toCharArray(),
 559             0, "FPMG".toCharArray()));
 560
 561     // truncated dna
 562     assertFalse(AlignmentUtils.translatesAs("tttcccaaagg".toCharArray(), 0,
 563             "FPKG".toCharArray()));
 564
 565     // truncated protein
 566     assertFalse(AlignmentUtils.translatesAs("tttcccaaaggg".toCharArray(),
 567             0, "FPK".toCharArray()));
 568
 569     // overlong dna (doesn't end in stop codon)
 570     assertFalse(AlignmentUtils.translatesAs(
 571             "tttcccaaagggttt".toCharArray(), 0, "FPKG".toCharArray()));
 572
 573     // dna + stop codon + more
 574     assertFalse(AlignmentUtils.translatesAs(
 575             "tttcccaaagggttaga".toCharArray(), 0, "FPKG".toCharArray()));
 576
 577     // overlong protein
 578     assertFalse(AlignmentUtils.translatesAs("tttcccaaaggg".toCharArray(),
 579             0, "FPKGQ".toCharArray()));
 580   }
 581
 582   /**
 583    * Test mapping of protein to cDNA, for cases where the cDNA has start and/or
 584    * stop codons in addition to the protein coding sequence.
 585    *
 586    * @throws IOException
 587    */
 588   @Test(groups = { "Functional" })
 589   public void testMapProteinAlignmentToCdna_withStartAndStopCodons()
 590           throws IOException
 591   {
 592     List<SequenceI> protseqs = new ArrayList<SequenceI>();
 593     protseqs.add(new Sequence("UNIPROT|V12345", "EIQ"));
 594     protseqs.add(new Sequence("UNIPROT|V12346", "EIQ"));
 595     protseqs.add(new Sequence("UNIPROT|V12347", "SAR"));
 596     AlignmentI protein = new Alignment(protseqs.toArray(new SequenceI[3]));
 597     protein.setDataset(null);
 598
 599     List<SequenceI> dnaseqs = new ArrayList<SequenceI>();
 600     // start + SAR:
 601     dnaseqs.add(new Sequence("EMBL|A11111", "ATGTCAGCACGC"));
 602     // = EIQ + stop
 603     dnaseqs.add(new Sequence("EMBL|A22222", "GAGATACAATAA"));
 604     // = start +EIQ + stop
 605     dnaseqs.add(new Sequence("EMBL|A33333", "ATGGAAATCCAGTAG"));
 606     dnaseqs.add(new Sequence("EMBL|A44444", "GAAATTCAG"));
 607     AlignmentI cdna = new Alignment(dnaseqs.toArray(new SequenceI[4]));
 608     cdna.setDataset(null);
 609
 610     assertTrue(AlignmentUtils.mapProteinAlignmentToCdna(protein, cdna));
 611
 612     // 3 mappings made, each from 1 to 1 sequence
 613     assertEquals(3, protein.getCodonFrames().size());
 614     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(0)).size());
 615     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(1)).size());
 616     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(2)).size());
 617
 618     // V12345 mapped from A22222
 619     AlignedCodonFrame acf = protein.getCodonFrame(protein.getSequenceAt(0))
 620             .get(0);
 621     assertEquals(1, acf.getdnaSeqs().length);
 622     assertEquals(cdna.getSequenceAt(1).getDatasetSequence(),
 623             acf.getdnaSeqs()[0]);
 624     Mapping[] protMappings = acf.getProtMappings();
 625     assertEquals(1, protMappings.length);
 626     MapList mapList = protMappings[0].getMap();
 627     assertEquals(3, mapList.getFromRatio());
 628     assertEquals(1, mapList.getToRatio());
 629     assertTrue(Arrays.equals(new int[] { 1, 9 }, mapList.getFromRanges()
 630             .get(0)));
 631     assertEquals(1, mapList.getFromRanges().size());
 632     assertTrue(Arrays.equals(new int[] { 1, 3 },
 633             mapList.getToRanges().get(0)));
 634     assertEquals(1, mapList.getToRanges().size());
 635
 636     // V12346 mapped from A33333 starting position 4
 637     acf = protein.getCodonFrame(protein.getSequenceAt(1)).get(0);
 638     assertEquals(1, acf.getdnaSeqs().length);
 639     assertEquals(cdna.getSequenceAt(2).getDatasetSequence(),
 640             acf.getdnaSeqs()[0]);
 641     protMappings = acf.getProtMappings();
 642     assertEquals(1, protMappings.length);
 643     mapList = protMappings[0].getMap();
 644     assertEquals(3, mapList.getFromRatio());
 645     assertEquals(1, mapList.getToRatio());
 646     assertTrue(Arrays.equals(new int[] { 4, 12 }, mapList.getFromRanges()
 647             .get(0)));
 648     assertEquals(1, mapList.getFromRanges().size());
 649     assertTrue(Arrays.equals(new int[] { 1, 3 },
 650             mapList.getToRanges().get(0)));
 651     assertEquals(1, mapList.getToRanges().size());
 652
 653     // V12347 mapped to A11111 starting position 4
 654     acf = protein.getCodonFrame(protein.getSequenceAt(2)).get(0);
 655     assertEquals(1, acf.getdnaSeqs().length);
 656     assertEquals(cdna.getSequenceAt(0).getDatasetSequence(),
 657             acf.getdnaSeqs()[0]);
 658     protMappings = acf.getProtMappings();
 659     assertEquals(1, protMappings.length);
 660     mapList = protMappings[0].getMap();
 661     assertEquals(3, mapList.getFromRatio());
 662     assertEquals(1, mapList.getToRatio());
 663     assertTrue(Arrays.equals(new int[] { 4, 12 }, mapList.getFromRanges()
 664             .get(0)));
 665     assertEquals(1, mapList.getFromRanges().size());
 666     assertTrue(Arrays.equals(new int[] { 1, 3 },
 667             mapList.getToRanges().get(0)));
 668     assertEquals(1, mapList.getToRanges().size());
 669
 670     // no mapping involving the 'extra' A44444
 671     assertTrue(protein.getCodonFrame(cdna.getSequenceAt(3)).isEmpty());
 672   }
 673
 674   /**
 675    * Test mapping of protein to cDNA, for the case where we have some sequence
 676    * cross-references. Verify that 1-to-many mappings are made where
 677    * cross-references exist and sequences are mappable.
 678    *
 679    * @throws IOException
 680    */
 681   @Test(groups = { "Functional" })
 682   public void testMapProteinAlignmentToCdna_withXrefs() throws IOException
 683   {
 684     List<SequenceI> protseqs = new ArrayList<SequenceI>();
 685     protseqs.add(new Sequence("UNIPROT|V12345", "EIQ"));
 686     protseqs.add(new Sequence("UNIPROT|V12346", "EIQ"));
 687     protseqs.add(new Sequence("UNIPROT|V12347", "SAR"));
 688     AlignmentI protein = new Alignment(protseqs.toArray(new SequenceI[3]));
 689     protein.setDataset(null);
 690
 691     List<SequenceI> dnaseqs = new ArrayList<SequenceI>();
 692     dnaseqs.add(new Sequence("EMBL|A11111", "TCAGCACGC")); // = SAR
 693     dnaseqs.add(new Sequence("EMBL|A22222", "ATGGAGATACAA")); // = start + EIQ
 694     dnaseqs.add(new Sequence("EMBL|A33333", "GAAATCCAG")); // = EIQ
 695     dnaseqs.add(new Sequence("EMBL|A44444", "GAAATTCAG")); // = EIQ
 696     dnaseqs.add(new Sequence("EMBL|A55555", "GAGATTCAG")); // = EIQ
 697     AlignmentI cdna = new Alignment(dnaseqs.toArray(new SequenceI[5]));
 698     cdna.setDataset(null);
 699
 700     // Xref A22222 to V12345 (should get mapped)
 701     dnaseqs.get(1).addDBRef(new DBRefEntry("UNIPROT", "1", "V12345"));
 702     // Xref V12345 to A44444 (should get mapped)
 703     protseqs.get(0).addDBRef(new DBRefEntry("EMBL", "1", "A44444"));
 704     // Xref A33333 to V12347 (sequence mismatch - should not get mapped)
 705     dnaseqs.get(2).addDBRef(new DBRefEntry("UNIPROT", "1", "V12347"));
 706     // as V12345 is mapped to A22222 and A44444, this leaves V12346 unmapped.
 707     // it should get paired up with the unmapped A33333
 708     // A11111 should be mapped to V12347
 709     // A55555 is spare and has no xref so is not mapped
 710
 711     assertTrue(AlignmentUtils.mapProteinAlignmentToCdna(protein, cdna));
 712
 713     // 4 protein mappings made for 3 proteins, 2 to V12345, 1 each to V12346/7
 714     assertEquals(3, protein.getCodonFrames().size());
 715     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(0)).size());
 716     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(1)).size());
 717     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(2)).size());
 718
 719     // one mapping for each of the first 4 cDNA sequences
 720     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(0)).size());
 721     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(1)).size());
 722     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(2)).size());
 723     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(3)).size());
 724
 725     // V12345 mapped to A22222 and A44444
 726     AlignedCodonFrame acf = protein.getCodonFrame(protein.getSequenceAt(0))
 727             .get(0);
 728     assertEquals(2, acf.getdnaSeqs().length);
 729     assertEquals(cdna.getSequenceAt(1).getDatasetSequence(),
 730             acf.getdnaSeqs()[0]);
 731     assertEquals(cdna.getSequenceAt(3).getDatasetSequence(),
 732             acf.getdnaSeqs()[1]);
 733
 734     // V12346 mapped to A33333
 735     acf = protein.getCodonFrame(protein.getSequenceAt(1)).get(0);
 736     assertEquals(1, acf.getdnaSeqs().length);
 737     assertEquals(cdna.getSequenceAt(2).getDatasetSequence(),
 738             acf.getdnaSeqs()[0]);
 739
 740     // V12347 mapped to A11111
 741     acf = protein.getCodonFrame(protein.getSequenceAt(2)).get(0);
 742     assertEquals(1, acf.getdnaSeqs().length);
 743     assertEquals(cdna.getSequenceAt(0).getDatasetSequence(),
 744             acf.getdnaSeqs()[0]);
 745
 746     // no mapping involving the 'extra' A55555
 747     assertTrue(protein.getCodonFrame(cdna.getSequenceAt(4)).isEmpty());
 748   }
 749
 750   /**
 751    * Test mapping of protein to cDNA, for the case where we have some sequence
 752    * cross-references. Verify that once we have made an xref mapping we don't
 753    * also map un-xrefd sequeces.
 754    *
 755    * @throws IOException
 756    */
 757   @Test(groups = { "Functional" })
 758   public void testMapProteinAlignmentToCdna_prioritiseXrefs()
 759           throws IOException
 760   {
 761     List<SequenceI> protseqs = new ArrayList<SequenceI>();
 762     protseqs.add(new Sequence("UNIPROT|V12345", "EIQ"));
 763     protseqs.add(new Sequence("UNIPROT|V12346", "EIQ"));
 764     AlignmentI protein = new Alignment(
 765             protseqs.toArray(new SequenceI[protseqs.size()]));
 766     protein.setDataset(null);
 767
 768     List<SequenceI> dnaseqs = new ArrayList<SequenceI>();
 769     dnaseqs.add(new Sequence("EMBL|A11111", "GAAATCCAG")); // = EIQ
 770     dnaseqs.add(new Sequence("EMBL|A22222", "GAAATTCAG")); // = EIQ
 771     AlignmentI cdna = new Alignment(dnaseqs.toArray(new SequenceI[dnaseqs
 772             .size()]));
 773     cdna.setDataset(null);
 774
 775     // Xref A22222 to V12345 (should get mapped)
 776     // A11111 should then be mapped to the unmapped V12346
 777     dnaseqs.get(1).addDBRef(new DBRefEntry("UNIPROT", "1", "V12345"));
 778
 779     assertTrue(AlignmentUtils.mapProteinAlignmentToCdna(protein, cdna));
 780
 781     // 2 protein mappings made
 782     assertEquals(2, protein.getCodonFrames().size());
 783     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(0)).size());
 784     assertEquals(1, protein.getCodonFrame(protein.getSequenceAt(1)).size());
 785
 786     // one mapping for each of the cDNA sequences
 787     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(0)).size());
 788     assertEquals(1, protein.getCodonFrame(cdna.getSequenceAt(1)).size());
 789
 790     // V12345 mapped to A22222
 791     AlignedCodonFrame acf = protein.getCodonFrame(protein.getSequenceAt(0))
 792             .get(0);
 793     assertEquals(1, acf.getdnaSeqs().length);
 794     assertEquals(cdna.getSequenceAt(1).getDatasetSequence(),
 795             acf.getdnaSeqs()[0]);
 796
 797     // V12346 mapped to A11111
 798     acf = protein.getCodonFrame(protein.getSequenceAt(1)).get(0);
 799     assertEquals(1, acf.getdnaSeqs().length);
 800     assertEquals(cdna.getSequenceAt(0).getDatasetSequence(),
 801             acf.getdnaSeqs()[0]);
 802   }
 803
 804   /**
 805    * Test the method that shows or hides sequence annotations by type(s) and
 806    * selection group.
 807    */
 808   @Test(groups = { "Functional" })
 809   public void testShowOrHideSequenceAnnotations()
 810   {
 811     SequenceI seq1 = new Sequence("Seq1", "AAA");
 812     SequenceI seq2 = new Sequence("Seq2", "BBB");
 813     SequenceI seq3 = new Sequence("Seq3", "CCC");
 814     Annotation[] anns = new Annotation[] { new Annotation(2f) };
 815     AlignmentAnnotation ann1 = new AlignmentAnnotation("Structure", "ann1",
 816             anns);
 817     ann1.setSequenceRef(seq1);
 818     AlignmentAnnotation ann2 = new AlignmentAnnotation("Structure", "ann2",
 819             anns);
 820     ann2.setSequenceRef(seq2);
 821     AlignmentAnnotation ann3 = new AlignmentAnnotation("Structure", "ann3",
 822             anns);
 823     AlignmentAnnotation ann4 = new AlignmentAnnotation("Temp", "ann4", anns);
 824     ann4.setSequenceRef(seq1);
 825     AlignmentAnnotation ann5 = new AlignmentAnnotation("Temp", "ann5", anns);
 826     ann5.setSequenceRef(seq2);
 827     AlignmentAnnotation ann6 = new AlignmentAnnotation("Temp", "ann6", anns);
 828     AlignmentI al = new Alignment(new SequenceI[] { seq1, seq2, seq3 });
 829     al.addAnnotation(ann1); // Structure for Seq1
 830     al.addAnnotation(ann2); // Structure for Seq2
 831     al.addAnnotation(ann3); // Structure for no sequence
 832     al.addAnnotation(ann4); // Temp for seq1
 833     al.addAnnotation(ann5); // Temp for seq2
 834     al.addAnnotation(ann6); // Temp for no sequence
 835     List<String> types = new ArrayList<String>();
 836     List<SequenceI> scope = new ArrayList<SequenceI>();
 837
 838     /*
 839      * Set all sequence related Structure to hidden (ann1, ann2)
 840      */
 841     types.add("Structure");
 842     AlignmentUtils.showOrHideSequenceAnnotations(al, types, null, false,
 843             false);
 844     assertFalse(ann1.visible);
 845     assertFalse(ann2.visible);
 846     assertTrue(ann3.visible); // not sequence-related, not affected
 847     assertTrue(ann4.visible); // not Structure, not affected
 848     assertTrue(ann5.visible); // "
 849     assertTrue(ann6.visible); // not sequence-related, not affected
 850
 851     /*
 852      * Set Temp in {seq1, seq3} to hidden
 853      */
 854     types.clear();
 855     types.add("Temp");
 856     scope.add(seq1);
 857     scope.add(seq3);
 858     AlignmentUtils.showOrHideSequenceAnnotations(al, types, scope, false,
 859             false);
 860     assertFalse(ann1.visible); // unchanged
 861     assertFalse(ann2.visible); // unchanged
 862     assertTrue(ann3.visible); // not sequence-related, not affected
 863     assertFalse(ann4.visible); // Temp for seq1 hidden
 864     assertTrue(ann5.visible); // not in scope, not affected
 865     assertTrue(ann6.visible); // not sequence-related, not affected
 866
 867     /*
 868      * Set Temp in all sequences to hidden
 869      */
 870     types.clear();
 871     types.add("Temp");
 872     scope.add(seq1);
 873     scope.add(seq3);
 874     AlignmentUtils.showOrHideSequenceAnnotations(al, types, null, false,
 875             false);
 876     assertFalse(ann1.visible); // unchanged
 877     assertFalse(ann2.visible); // unchanged
 878     assertTrue(ann3.visible); // not sequence-related, not affected
 879     assertFalse(ann4.visible); // Temp for seq1 hidden
 880     assertFalse(ann5.visible); // Temp for seq2 hidden
 881     assertTrue(ann6.visible); // not sequence-related, not affected
 882
 883     /*
 884      * Set all types in {seq1, seq3} to visible
 885      */
 886     types.clear();
 887     scope.clear();
 888     scope.add(seq1);
 889     scope.add(seq3);
 890     AlignmentUtils.showOrHideSequenceAnnotations(al, types, scope, true,
 891             true);
 892     assertTrue(ann1.visible); // Structure for seq1 set visible
 893     assertFalse(ann2.visible); // not in scope, unchanged
 894     assertTrue(ann3.visible); // not sequence-related, not affected
 895     assertTrue(ann4.visible); // Temp for seq1 set visible
 896     assertFalse(ann5.visible); // not in scope, unchanged
 897     assertTrue(ann6.visible); // not sequence-related, not affected
 898
 899     /*
 900      * Set all types in all scope to hidden
 901      */
 902     AlignmentUtils.showOrHideSequenceAnnotations(al, types, null, true,
 903             false);
 904     assertFalse(ann1.visible);
 905     assertFalse(ann2.visible);
 906     assertTrue(ann3.visible); // not sequence-related, not affected
 907     assertFalse(ann4.visible);
 908     assertFalse(ann5.visible);
 909     assertTrue(ann6.visible); // not sequence-related, not affected
 910   }
 911
 912   /**
 913    * Tests for the method that checks if one sequence cross-references another
 914    */
 915   @Test(groups = { "Functional" })
 916   public void testHasCrossRef()
 917   {
 918     assertFalse(AlignmentUtils.hasCrossRef(null, null));
 919     SequenceI seq1 = new Sequence("EMBL|A12345", "ABCDEF");
 920     assertFalse(AlignmentUtils.hasCrossRef(seq1, null));
 921     assertFalse(AlignmentUtils.hasCrossRef(null, seq1));
 922     SequenceI seq2 = new Sequence("UNIPROT|V20192", "ABCDEF");
 923     assertFalse(AlignmentUtils.hasCrossRef(seq1, seq2));
 924
 925     // different ref
 926     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "v20193"));
 927     assertFalse(AlignmentUtils.hasCrossRef(seq1, seq2));
 928
 929     // case-insensitive; version number is ignored
 930     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "v20192"));
 931     assertTrue(AlignmentUtils.hasCrossRef(seq1, seq2));
 932
 933     // right case!
 934     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "V20192"));
 935     assertTrue(AlignmentUtils.hasCrossRef(seq1, seq2));
 936     // test is one-way only
 937     assertFalse(AlignmentUtils.hasCrossRef(seq2, seq1));
 938   }
 939
 940   /**
 941    * Tests for the method that checks if either sequence cross-references the
 942    * other
 943    */
 944   @Test(groups = { "Functional" })
 945   public void testHaveCrossRef()
 946   {
 947     assertFalse(AlignmentUtils.hasCrossRef(null, null));
 948     SequenceI seq1 = new Sequence("EMBL|A12345", "ABCDEF");
 949     assertFalse(AlignmentUtils.haveCrossRef(seq1, null));
 950     assertFalse(AlignmentUtils.haveCrossRef(null, seq1));
 951     SequenceI seq2 = new Sequence("UNIPROT|V20192", "ABCDEF");
 952     assertFalse(AlignmentUtils.haveCrossRef(seq1, seq2));
 953
 954     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "V20192"));
 955     assertTrue(AlignmentUtils.haveCrossRef(seq1, seq2));
 956     // next is true for haveCrossRef, false for hasCrossRef
 957     assertTrue(AlignmentUtils.haveCrossRef(seq2, seq1));
 958
 959     // now the other way round
 960     seq1.setDBRefs(null);
 961     seq2.addDBRef(new DBRefEntry("EMBL", "1", "A12345"));
 962     assertTrue(AlignmentUtils.haveCrossRef(seq1, seq2));
 963     assertTrue(AlignmentUtils.haveCrossRef(seq2, seq1));
 964
 965     // now both ways
 966     seq1.addDBRef(new DBRefEntry("UNIPROT", "1", "V20192"));
 967     assertTrue(AlignmentUtils.haveCrossRef(seq1, seq2));
 968     assertTrue(AlignmentUtils.haveCrossRef(seq2, seq1));
 969   }
 970
 971   /**
 972    * Test the method that extracts the cds-only part of a dna alignment.
 973    */
 974   @Test(groups = { "Functional" })
 975   public void testMakeCdsAlignment()
 976   {
 977     /*
 978      * scenario:
 979      *     dna1 --> [4, 6] [10,12]        --> pep1
 980      *     dna2 --> [1, 3] [7, 9] [13,15] --> pep1
 981      */
 982     SequenceI dna1 = new Sequence("dna1", "aaaGGGcccTTTaaa");
 983     SequenceI dna2 = new Sequence("dna2", "GGGcccTTTaaaCCC");
 984     SequenceI pep1 = new Sequence("pep1", "GF");
 985     SequenceI pep2 = new Sequence("pep2", "GFP");
 986     pep1.addDBRef(new DBRefEntry("UNIPROT", "0", "pep1"));
 987     pep2.addDBRef(new DBRefEntry("UNIPROT", "0", "pep2"));
 988     dna1.createDatasetSequence();
 989     dna2.createDatasetSequence();
 990     pep1.createDatasetSequence();
 991     pep2.createDatasetSequence();
 992     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2 });
 993     dna.setDataset(null);
 994
 995     /*
 996      * need a sourceDbRef if we are to construct dbrefs to the CDS
 997      * sequence
 998      */
 999     DBRefEntry dbref = new DBRefEntry("ENSEMBL", "0", "dna1");
1000     dna1.getDatasetSequence().setSourceDBRef(dbref);
1001     dbref = new DBRefEntry("ENSEMBL", "0", "dna2");
1002     dna2.getDatasetSequence().setSourceDBRef(dbref);
1003
1004     /*
1005      * CDS sequences are 'discovered' from dna-to-protein mappings on the alignment
1006      * dataset (e.g. added from dbrefs by CrossRef.findXrefSequences)
1007      */
1008     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
1009             new int[] { 1, 2 }, 3, 1);
1010     AlignedCodonFrame acf = new AlignedCodonFrame();
1011     acf.addMap(dna1.getDatasetSequence(), pep1.getDatasetSequence(), map);
1012     dna.addCodonFrame(acf);
1013     map = new MapList(new int[] { 1, 3, 7, 9, 13, 15 }, new int[] { 1, 3 },
1014             3, 1);
1015     acf = new AlignedCodonFrame();
1016     acf.addMap(dna2.getDatasetSequence(), pep2.getDatasetSequence(), map);
1017     dna.addCodonFrame(acf);
1018
1019     /*
1020      * execute method under test:
1021      */
1022     AlignmentI cds = AlignmentUtils.makeCdsAlignment(new SequenceI[] {
1023         dna1, dna2 }, dna.getDataset(), null);
1024
1025     /*
1026      * verify cds sequences
1027      */
1028     assertEquals(2, cds.getSequences().size());
1029     assertEquals("GGGTTT", cds.getSequenceAt(0).getSequenceAsString());
1030     assertEquals("GGGTTTCCC", cds.getSequenceAt(1).getSequenceAsString());
1031
1032     /*
1033      * verify shared, extended alignment dataset
1034      */
1035     assertSame(dna.getDataset(), cds.getDataset());
1036     SequenceI cds1Dss = cds.getSequenceAt(0).getDatasetSequence();
1037     SequenceI cds2Dss = cds.getSequenceAt(1).getDatasetSequence();
1038     assertTrue(dna.getDataset().getSequences().contains(cds1Dss));
1039     assertTrue(dna.getDataset().getSequences().contains(cds2Dss));
1040
1041     /*
1042      * verify CDS has a dbref with mapping to peptide
1043      */
1044     assertNotNull(cds1Dss.getDBRefs());
1045     assertEquals(1, cds1Dss.getDBRefs().length);
1046     dbref = cds1Dss.getDBRefs()[0];
1047     assertEquals("UNIPROT", dbref.getSource());
1048     assertEquals("0", dbref.getVersion());
1049     assertEquals("pep1", dbref.getAccessionId());
1050     assertNotNull(dbref.getMap());
1051     assertSame(pep1.getDatasetSequence(), dbref.getMap().getTo());
1052     MapList cdsMapping = new MapList(new int[] { 1, 6 },
1053             new int[] { 1, 2 }, 3, 1);
1054     assertEquals(cdsMapping, dbref.getMap().getMap());
1055
1056     /*
1057      * verify peptide has added a dbref with reverse mapping to CDS
1058      */
1059     assertNotNull(pep1.getDBRefs());
1060     assertEquals(2, pep1.getDBRefs().length);
1061     dbref = pep1.getDBRefs()[1];
1062     assertEquals("ENSEMBL", dbref.getSource());
1063     assertEquals("0", dbref.getVersion());
1064     assertEquals("CDS|dna1", dbref.getAccessionId());
1065     assertNotNull(dbref.getMap());
1066     assertSame(cds1Dss, dbref.getMap().getTo());
1067     assertEquals(cdsMapping.getInverse(), dbref.getMap().getMap());
1068
1069     /*
1070      * Verify mappings from CDS to peptide, cDNA to CDS, and cDNA to peptide
1071      * the mappings are on the shared alignment dataset
1072      * 6 mappings, 2*(DNA->CDS), 2*(DNA->Pep), 2*(CDS->Pep)
1073      */
1074     List<AlignedCodonFrame> cdsMappings = cds.getDataset().getCodonFrames();
1075     assertEquals(6, cdsMappings.size());
1076
1077     /*
1078      * verify that mapping sets for dna and cds alignments are different
1079      * [not current behaviour - all mappings are on the alignment dataset]
1080      */
1081     // select -> subselect type to test.
1082     // Assert.assertNotSame(dna.getCodonFrames(), cds.getCodonFrames());
1083     // assertEquals(4, dna.getCodonFrames().size());
1084     // assertEquals(4, cds.getCodonFrames().size());
1085
1086     /*
1087      * Two mappings involve pep1 (dna to pep1, cds to pep1)
1088      * Mapping from pep1 to GGGTTT in first new exon sequence
1089      */
1090     List<AlignedCodonFrame> pep1Mappings = MappingUtils
1091             .findMappingsForSequence(pep1, cdsMappings);
1092     assertEquals(2, pep1Mappings.size());
1093     List<AlignedCodonFrame> mappings = MappingUtils
1094             .findMappingsForSequence(cds.getSequenceAt(0), pep1Mappings);
1095     assertEquals(1, mappings.size());
1096
1097     // map G to GGG
1098     SearchResults sr = MappingUtils.buildSearchResults(pep1, 1, mappings);
1099     assertEquals(1, sr.getResults().size());
1100     Match m = sr.getResults().get(0);
1101     assertSame(cds1Dss, m.getSequence());
1102     assertEquals(1, m.getStart());
1103     assertEquals(3, m.getEnd());
1104     // map F to TTT
1105     sr = MappingUtils.buildSearchResults(pep1, 2, mappings);
1106     m = sr.getResults().get(0);
1107     assertSame(cds1Dss, m.getSequence());
1108     assertEquals(4, m.getStart());
1109     assertEquals(6, m.getEnd());
1110
1111     /*
1112      * Two mappings involve pep2 (dna to pep2, cds to pep2)
1113      * Verify mapping from pep2 to GGGTTTCCC in second new exon sequence
1114      */
1115     List<AlignedCodonFrame> pep2Mappings = MappingUtils
1116             .findMappingsForSequence(pep2, cdsMappings);
1117     assertEquals(2, pep2Mappings.size());
1118     mappings = MappingUtils.findMappingsForSequence(cds.getSequenceAt(1),
1119             pep2Mappings);
1120     assertEquals(1, mappings.size());
1121     // map G to GGG
1122     sr = MappingUtils.buildSearchResults(pep2, 1, mappings);
1123     assertEquals(1, sr.getResults().size());
1124     m = sr.getResults().get(0);
1125     assertSame(cds2Dss, m.getSequence());
1126     assertEquals(1, m.getStart());
1127     assertEquals(3, m.getEnd());
1128     // map F to TTT
1129     sr = MappingUtils.buildSearchResults(pep2, 2, mappings);
1130     m = sr.getResults().get(0);
1131     assertSame(cds2Dss, m.getSequence());
1132     assertEquals(4, m.getStart());
1133     assertEquals(6, m.getEnd());
1134     // map P to CCC
1135     sr = MappingUtils.buildSearchResults(pep2, 3, mappings);
1136     m = sr.getResults().get(0);
1137     assertSame(cds2Dss, m.getSequence());
1138     assertEquals(7, m.getStart());
1139     assertEquals(9, m.getEnd());
1140   }
1141
1142   /**
1143    * Test the method that makes a cds-only alignment from a DNA sequence and its
1144    * product mappings, for the case where there are multiple exon mappings to
1145    * different protein products.
1146    */
1147   @Test(groups = { "Functional" })
1148   public void testMakeCdsAlignment_multipleProteins()
1149   {
1150     SequenceI dna1 = new Sequence("dna1", "aaaGGGcccTTTaaa");
1151     SequenceI pep1 = new Sequence("pep1", "GF"); // GGGTTT
1152     SequenceI pep2 = new Sequence("pep2", "KP"); // aaaccc
1153     SequenceI pep3 = new Sequence("pep3", "KF"); // aaaTTT
1154     dna1.createDatasetSequence();
1155     pep1.createDatasetSequence();
1156     pep2.createDatasetSequence();
1157     pep3.createDatasetSequence();
1158     pep1.getDatasetSequence().addDBRef(
1159             new DBRefEntry("EMBLCDS", "2", "A12345"));
1160     pep2.getDatasetSequence().addDBRef(
1161             new DBRefEntry("EMBLCDS", "3", "A12346"));
1162     pep3.getDatasetSequence().addDBRef(
1163             new DBRefEntry("EMBLCDS", "4", "A12347"));
1164
1165     /*
1166      * Create the CDS alignment
1167      */
1168     AlignmentI dna = new Alignment(new SequenceI[] { dna1 });
1169     dna.setDataset(null);
1170
1171     /*
1172      * Make the mappings from dna to protein
1173      */
1174     // map ...GGG...TTT to GF
1175     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
1176             new int[] { 1, 2 }, 3, 1);
1177     AlignedCodonFrame acf = new AlignedCodonFrame();
1178     acf.addMap(dna1.getDatasetSequence(), pep1.getDatasetSequence(), map);
1179     dna.addCodonFrame(acf);
1180
1181     // map aaa...ccc to KP
1182     map = new MapList(new int[] { 1, 3, 7, 9 }, new int[] { 1, 2 }, 3, 1);
1183     acf = new AlignedCodonFrame();
1184     acf.addMap(dna1.getDatasetSequence(), pep2.getDatasetSequence(), map);
1185     dna.addCodonFrame(acf);
1186
1187     // map aaa......TTT to KF
1188     map = new MapList(new int[] { 1, 3, 10, 12 }, new int[] { 1, 2 }, 3, 1);
1189     acf = new AlignedCodonFrame();
1190     acf.addMap(dna1.getDatasetSequence(), pep3.getDatasetSequence(), map);
1191     dna.addCodonFrame(acf);
1192
1193     /*
1194      * execute method under test
1195      */
1196     AlignmentI cdsal = AlignmentUtils.makeCdsAlignment(
1197             new SequenceI[] { dna1 }, dna.getDataset(), null);
1198
1199     /*
1200      * Verify we have 3 cds sequences, mapped to pep1/2/3 respectively
1201      */
1202     List<SequenceI> cds = cdsal.getSequences();
1203     assertEquals(3, cds.size());
1204
1205     /*
1206      * verify shared, extended alignment dataset
1207      */
1208     assertSame(cdsal.getDataset(), dna.getDataset());
1209     assertTrue(dna.getDataset().getSequences()
1210             .contains(cds.get(0).getDatasetSequence()));
1211     assertTrue(dna.getDataset().getSequences()
1212             .contains(cds.get(1).getDatasetSequence()));
1213     assertTrue(dna.getDataset().getSequences()
1214             .contains(cds.get(2).getDatasetSequence()));
1215
1216     /*
1217      * verify aligned cds sequences and their xrefs
1218      */
1219     SequenceI cdsSeq = cds.get(0);
1220     assertEquals("GGGTTT", cdsSeq.getSequenceAsString());
1221     // assertEquals("dna1|A12345", cdsSeq.getName());
1222     assertEquals("CDS|dna1", cdsSeq.getName());
1223     // assertEquals(1, cdsSeq.getDBRefs().length);
1224     // DBRefEntry cdsRef = cdsSeq.getDBRefs()[0];
1225     // assertEquals("EMBLCDS", cdsRef.getSource());
1226     // assertEquals("2", cdsRef.getVersion());
1227     // assertEquals("A12345", cdsRef.getAccessionId());
1228
1229     cdsSeq = cds.get(1);
1230     assertEquals("aaaccc", cdsSeq.getSequenceAsString());
1231     // assertEquals("dna1|A12346", cdsSeq.getName());
1232     assertEquals("CDS|dna1", cdsSeq.getName());
1233     // assertEquals(1, cdsSeq.getDBRefs().length);
1234     // cdsRef = cdsSeq.getDBRefs()[0];
1235     // assertEquals("EMBLCDS", cdsRef.getSource());
1236     // assertEquals("3", cdsRef.getVersion());
1237     // assertEquals("A12346", cdsRef.getAccessionId());
1238
1239     cdsSeq = cds.get(2);
1240     assertEquals("aaaTTT", cdsSeq.getSequenceAsString());
1241     // assertEquals("dna1|A12347", cdsSeq.getName());
1242     assertEquals("CDS|dna1", cdsSeq.getName());
1243     // assertEquals(1, cdsSeq.getDBRefs().length);
1244     // cdsRef = cdsSeq.getDBRefs()[0];
1245     // assertEquals("EMBLCDS", cdsRef.getSource());
1246     // assertEquals("4", cdsRef.getVersion());
1247     // assertEquals("A12347", cdsRef.getAccessionId());
1248
1249     /*
1250      * Verify there are mappings from each cds sequence to its protein product
1251      * and also to its dna source
1252      */
1253     List<AlignedCodonFrame> newMappings = cdsal.getCodonFrames();
1254
1255     /*
1256      * 6 mappings involve dna1 (to pep1/2/3, cds1/2/3)
1257      */
1258     List<AlignedCodonFrame> dnaMappings = MappingUtils
1259             .findMappingsForSequence(dna1, newMappings);
1260     assertEquals(6, dnaMappings.size());
1261
1262     /*
1263      * dna1 to pep1
1264      */
1265     List<AlignedCodonFrame> mappings = MappingUtils
1266             .findMappingsForSequence(pep1, dnaMappings);
1267     assertEquals(1, mappings.size());
1268     assertEquals(1, mappings.get(0).getMappings().size());
1269     assertSame(pep1.getDatasetSequence(), mappings.get(0).getMappings()
1270             .get(0).getMapping().getTo());
1271
1272     /*
1273      * dna1 to cds1
1274      */
1275     List<AlignedCodonFrame> dnaToCds1Mappings = MappingUtils
1276             .findMappingsForSequence(cds.get(0), dnaMappings);
1277     Mapping mapping = dnaToCds1Mappings.get(0).getMappings().get(0)
1278             .getMapping();
1279     assertSame(cds.get(0).getDatasetSequence(), mapping
1280             .getTo());
1281     assertEquals("G(1) in CDS should map to G(4) in DNA", 4, mapping
1282             .getMap().getToPosition(1));
1283
1284     /*
1285      * dna1 to pep2
1286      */
1287     mappings = MappingUtils.findMappingsForSequence(pep2, dnaMappings);
1288     assertEquals(1, mappings.size());
1289     assertEquals(1, mappings.get(0).getMappings().size());
1290     assertSame(pep2.getDatasetSequence(), mappings.get(0).getMappings()
1291             .get(0).getMapping().getTo());
1292
1293     /*
1294      * dna1 to cds2
1295      */
1296     List<AlignedCodonFrame> dnaToCds2Mappings = MappingUtils
1297             .findMappingsForSequence(cds.get(1), dnaMappings);
1298     mapping = dnaToCds2Mappings.get(0).getMappings().get(0).getMapping();
1299     assertSame(cds.get(1).getDatasetSequence(), mapping.getTo());
1300     assertEquals("c(4) in CDS should map to c(7) in DNA", 7, mapping
1301             .getMap().getToPosition(4));
1302
1303     /*
1304      * dna1 to pep3
1305      */
1306     mappings = MappingUtils.findMappingsForSequence(pep3, dnaMappings);
1307     assertEquals(1, mappings.size());
1308     assertEquals(1, mappings.get(0).getMappings().size());
1309     assertSame(pep3.getDatasetSequence(), mappings.get(0).getMappings()
1310             .get(0).getMapping().getTo());
1311
1312     /*
1313      * dna1 to cds3
1314      */
1315     List<AlignedCodonFrame> dnaToCds3Mappings = MappingUtils
1316             .findMappingsForSequence(cds.get(2), dnaMappings);
1317     mapping = dnaToCds3Mappings.get(0).getMappings().get(0).getMapping();
1318     assertSame(cds.get(2).getDatasetSequence(), mapping.getTo());
1319     assertEquals("T(4) in CDS should map to T(10) in DNA", 10, mapping
1320             .getMap().getToPosition(4));
1321   }
1322
1323   @Test(groups = { "Functional" })
1324   public void testIsMappable()
1325   {
1326     SequenceI dna1 = new Sequence("dna1", "cgCAGtgGT");
1327     SequenceI aa1 = new Sequence("aa1", "RSG");
1328     AlignmentI al1 = new Alignment(new SequenceI[] { dna1 });
1329     AlignmentI al2 = new Alignment(new SequenceI[] { aa1 });
1330
1331     assertFalse(AlignmentUtils.isMappable(null, null));
1332     assertFalse(AlignmentUtils.isMappable(al1, null));
1333     assertFalse(AlignmentUtils.isMappable(null, al1));
1334     assertFalse(AlignmentUtils.isMappable(al1, al1));
1335     assertFalse(AlignmentUtils.isMappable(al2, al2));
1336
1337     assertTrue(AlignmentUtils.isMappable(al1, al2));
1338     assertTrue(AlignmentUtils.isMappable(al2, al1));
1339   }
1340
1341   /**
1342    * Test creating a mapping when the sequences involved do not start at residue
1343    * 1
1344    *
1345    * @throws IOException
1346    */
1347   @Test(groups = { "Functional" })
1348   public void testMapCdnaToProtein_forSubsequence()
1349           throws IOException
1350   {
1351     SequenceI prot = new Sequence("UNIPROT|V12345", "E-I--Q", 10, 12);
1352     prot.createDatasetSequence();
1353
1354     SequenceI dna = new Sequence("EMBL|A33333", "GAA--AT-C-CAG", 40, 48);
1355     dna.createDatasetSequence();
1356
1357     MapList map = AlignmentUtils.mapCdnaToProtein(prot, dna);
1358     assertEquals(10, map.getToLowest());
1359     assertEquals(12, map.getToHighest());
1360     assertEquals(40, map.getFromLowest());
1361     assertEquals(48, map.getFromHighest());
1362   }
1363
1364   /**
1365    * Test for the alignSequenceAs method where we have protein mapped to protein
1366    */
1367   @Test(groups = { "Functional" })
1368   public void testAlignSequenceAs_mappedProteinProtein()
1369   {
1370
1371     SequenceI alignMe = new Sequence("Match", "MGAASEV");
1372     alignMe.createDatasetSequence();
1373     SequenceI alignFrom = new Sequence("Query", "LQTGYMGAASEVMFSPTRR");
1374     alignFrom.createDatasetSequence();
1375
1376     AlignedCodonFrame acf = new AlignedCodonFrame();
1377     // this is like a domain or motif match of part of a peptide sequence
1378     MapList map = new MapList(new int[] { 6, 12 }, new int[] { 1, 7 }, 1, 1);
1379     acf.addMap(alignFrom.getDatasetSequence(),
1380             alignMe.getDatasetSequence(), map);
1381
1382     AlignmentUtils.alignSequenceAs(alignMe, alignFrom, acf, "-", '-', true,
1383             true);
1384     assertEquals("-----MGAASEV-------", alignMe.getSequenceAsString());
1385   }
1386
1387   /**
1388    * Test for the alignSequenceAs method where there are trailing unmapped
1389    * residues in the model sequence
1390    */
1391   @Test(groups = { "Functional" })
1392   public void testAlignSequenceAs_withTrailingPeptide()
1393   {
1394     // map first 3 codons to KPF; G is a trailing unmapped residue
1395     MapList map = new MapList(new int[] { 1, 9 }, new int[] { 1, 3 }, 3, 1);
1396
1397     checkAlignSequenceAs("AAACCCTTT", "K-PFG", true, true, map,
1398             "AAA---CCCTTT---");
1399   }
1400
1401   /**
1402    * Tests for transferring features between mapped sequences
1403    */
1404   @Test(groups = { "Functional" })
1405   public void testTransferFeatures()
1406   {
1407     SequenceI dna = new Sequence("dna/20-34", "acgTAGcaaGCCcgt");
1408     SequenceI cds = new Sequence("cds/10-15", "TAGGCC");
1409
1410     // no overlap
1411     dna.addSequenceFeature(new SequenceFeature("type1", "desc1", 1, 2, 1f,
1412             null));
1413     // partial overlap - to [1, 1]
1414     dna.addSequenceFeature(new SequenceFeature("type2", "desc2", 3, 4, 2f,
1415             null));
1416     // exact overlap - to [1, 3]
1417     dna.addSequenceFeature(new SequenceFeature("type3", "desc3", 4, 6, 3f,
1418             null));
1419     // spanning overlap - to [2, 5]
1420     dna.addSequenceFeature(new SequenceFeature("type4", "desc4", 5, 11, 4f,
1421             null));
1422     // exactly overlaps whole mapped range [1, 6]
1423     dna.addSequenceFeature(new SequenceFeature("type5", "desc5", 4, 12, 5f,
1424             null));
1425     // no overlap (internal)
1426     dna.addSequenceFeature(new SequenceFeature("type6", "desc6", 7, 9, 6f,
1427             null));
1428     // no overlap (3' end)
1429     dna.addSequenceFeature(new SequenceFeature("type7", "desc7", 13, 15,
1430             7f, null));
1431     // overlap (3' end) - to [6, 6]
1432     dna.addSequenceFeature(new SequenceFeature("type8", "desc8", 12, 12,
1433             8f, null));
1434     // extended overlap - to [6, +]
1435     dna.addSequenceFeature(new SequenceFeature("type9", "desc9", 12, 13,
1436             9f, null));
1437
1438     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
1439             new int[] { 1, 6 }, 1, 1);
1440
1441     /*
1442      * transferFeatures() will build 'partial overlap' for regions
1443      * that partially overlap 5' or 3' (start or end) of target sequence
1444      */
1445     AlignmentUtils.transferFeatures(dna, cds, map, null);
1446     SequenceFeature[] sfs = cds.getSequenceFeatures();
1447     assertEquals(6, sfs.length);
1448
1449     SequenceFeature sf = sfs[0];
1450     assertEquals("type2", sf.getType());
1451     assertEquals("desc2", sf.getDescription());
1452     assertEquals(2f, sf.getScore());
1453     assertEquals(1, sf.getBegin());
1454     assertEquals(1, sf.getEnd());
1455
1456     sf = sfs[1];
1457     assertEquals("type3", sf.getType());
1458     assertEquals("desc3", sf.getDescription());
1459     assertEquals(3f, sf.getScore());
1460     assertEquals(1, sf.getBegin());
1461     assertEquals(3, sf.getEnd());
1462
1463     sf = sfs[2];
1464     assertEquals("type4", sf.getType());
1465     assertEquals(2, sf.getBegin());
1466     assertEquals(5, sf.getEnd());
1467
1468     sf = sfs[3];
1469     assertEquals("type5", sf.getType());
1470     assertEquals(1, sf.getBegin());
1471     assertEquals(6, sf.getEnd());
1472
1473     sf = sfs[4];
1474     assertEquals("type8", sf.getType());
1475     assertEquals(6, sf.getBegin());
1476     assertEquals(6, sf.getEnd());
1477
1478     sf = sfs[5];
1479     assertEquals("type9", sf.getType());
1480     assertEquals(6, sf.getBegin());
1481     assertEquals(6, sf.getEnd());
1482   }
1483
1484   /**
1485    * Tests for transferring features between mapped sequences
1486    */
1487   @Test(groups = { "Functional" })
1488   public void testTransferFeatures_withOmit()
1489   {
1490     SequenceI dna = new Sequence("dna/20-34", "acgTAGcaaGCCcgt");
1491     SequenceI cds = new Sequence("cds/10-15", "TAGGCC");
1492
1493     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
1494             new int[] { 1, 6 }, 1, 1);
1495
1496     // [5, 11] maps to [2, 5]
1497     dna.addSequenceFeature(new SequenceFeature("type4", "desc4", 5, 11, 4f,
1498             null));
1499     // [4, 12] maps to [1, 6]
1500     dna.addSequenceFeature(new SequenceFeature("type5", "desc5", 4, 12, 5f,
1501             null));
1502     // [12, 12] maps to [6, 6]
1503     dna.addSequenceFeature(new SequenceFeature("type8", "desc8", 12, 12,
1504             8f, null));
1505
1506     // desc4 and desc8 are the 'omit these' varargs
1507     AlignmentUtils.transferFeatures(dna, cds, map, null, "type4", "type8");
1508     SequenceFeature[] sfs = cds.getSequenceFeatures();
1509     assertEquals(1, sfs.length);
1510
1511     SequenceFeature sf = sfs[0];
1512     assertEquals("type5", sf.getType());
1513     assertEquals(1, sf.getBegin());
1514     assertEquals(6, sf.getEnd());
1515   }
1516
1517   /**
1518    * Tests for transferring features between mapped sequences
1519    */
1520   @Test(groups = { "Functional" })
1521   public void testTransferFeatures_withSelect()
1522   {
1523     SequenceI dna = new Sequence("dna/20-34", "acgTAGcaaGCCcgt");
1524     SequenceI cds = new Sequence("cds/10-15", "TAGGCC");
1525
1526     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
1527             new int[] { 1, 6 }, 1, 1);
1528
1529     // [5, 11] maps to [2, 5]
1530     dna.addSequenceFeature(new SequenceFeature("type4", "desc4", 5, 11, 4f,
1531             null));
1532     // [4, 12] maps to [1, 6]
1533     dna.addSequenceFeature(new SequenceFeature("type5", "desc5", 4, 12, 5f,
1534             null));
1535     // [12, 12] maps to [6, 6]
1536     dna.addSequenceFeature(new SequenceFeature("type8", "desc8", 12, 12,
1537             8f, null));
1538
1539     // "type5" is the 'select this type' argument
1540     AlignmentUtils.transferFeatures(dna, cds, map, "type5");
1541     SequenceFeature[] sfs = cds.getSequenceFeatures();
1542     assertEquals(1, sfs.length);
1543
1544     SequenceFeature sf = sfs[0];
1545     assertEquals("type5", sf.getType());
1546     assertEquals(1, sf.getBegin());
1547     assertEquals(6, sf.getEnd());
1548   }
1549
1550   /**
1551    * Test the method that extracts the cds-only part of a dna alignment, for the
1552    * case where the cds should be aligned to match its nucleotide sequence.
1553    */
1554   @Test(groups = { "Functional" })
1555   public void testMakeCdsAlignment_alternativeTranscripts()
1556   {
1557     SequenceI dna1 = new Sequence("dna1", "aaaGGGCC-----CTTTaaaGGG");
1558     // alternative transcript of same dna skips CCC codon
1559     SequenceI dna2 = new Sequence("dna2", "aaaGGGCC-----cttTaaaGGG");
1560     // dna3 has no mapping (protein product) so should be ignored here
1561     SequenceI dna3 = new Sequence("dna3", "aaaGGGCCCCCGGGcttTaaaGGG");
1562     SequenceI pep1 = new Sequence("pep1", "GPFG");
1563     SequenceI pep2 = new Sequence("pep2", "GPG");
1564     dna1.createDatasetSequence();
1565     dna2.createDatasetSequence();
1566     dna3.createDatasetSequence();
1567     pep1.createDatasetSequence();
1568     pep2.createDatasetSequence();
1569
1570     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2, dna3 });
1571     dna.setDataset(null);
1572
1573     MapList map = new MapList(new int[] { 4, 12, 16, 18 },
1574             new int[] { 1, 4 }, 3, 1);
1575     AlignedCodonFrame acf = new AlignedCodonFrame();
1576     acf.addMap(dna1.getDatasetSequence(), pep1.getDatasetSequence(), map);
1577     dna.addCodonFrame(acf);
1578     map = new MapList(new int[] { 4, 8, 12, 12, 16, 18 },
1579             new int[] { 1, 3 },
1580             3, 1);
1581     acf = new AlignedCodonFrame();
1582     acf.addMap(dna2.getDatasetSequence(), pep2.getDatasetSequence(), map);
1583     dna.addCodonFrame(acf);
1584
1585     AlignmentI cds = AlignmentUtils.makeCdsAlignment(new SequenceI[] {
1586         dna1, dna2, dna3 }, dna.getDataset(), null);
1587     List<SequenceI> cdsSeqs = cds.getSequences();
1588     assertEquals(2, cdsSeqs.size());
1589     assertEquals("GGGCCCTTTGGG", cdsSeqs.get(0).getSequenceAsString());
1590     assertEquals("GGGCCTGGG", cdsSeqs.get(1).getSequenceAsString());
1591
1592     /*
1593      * verify shared, extended alignment dataset
1594      */
1595     assertSame(dna.getDataset(), cds.getDataset());
1596     assertTrue(dna.getDataset().getSequences()
1597             .contains(cdsSeqs.get(0).getDatasetSequence()));
1598     assertTrue(dna.getDataset().getSequences()
1599             .contains(cdsSeqs.get(1).getDatasetSequence()));
1600
1601     /*
1602      * Verify 6 mappings: dna1 to cds1, cds1 to pep1, dna1 to pep1
1603      * and the same for dna2/cds2/pep2
1604      */
1605     List<AlignedCodonFrame> mappings = cds.getCodonFrames();
1606     assertEquals(6, mappings.size());
1607
1608     /*
1609      * 2 mappings involve pep1
1610      */
1611     List<AlignedCodonFrame> pep1Mappings = MappingUtils
1612             .findMappingsForSequence(pep1, mappings);
1613     assertEquals(2, pep1Mappings.size());
1614
1615     /*
1616      * Get mapping of pep1 to cds1 and verify it
1617      * maps GPFG to 1-3,4-6,7-9,10-12
1618      */
1619     List<AlignedCodonFrame> pep1CdsMappings = MappingUtils
1620             .findMappingsForSequence(cds.getSequenceAt(0), pep1Mappings);
1621     assertEquals(1, pep1CdsMappings.size());
1622     SearchResults sr = MappingUtils.buildSearchResults(pep1, 1,
1623             pep1CdsMappings);
1624     assertEquals(1, sr.getResults().size());
1625     Match m = sr.getResults().get(0);
1626     assertEquals(cds.getSequenceAt(0).getDatasetSequence(),
1627             m.getSequence());
1628     assertEquals(1, m.getStart());
1629     assertEquals(3, m.getEnd());
1630     sr = MappingUtils.buildSearchResults(pep1, 2, pep1CdsMappings);
1631     m = sr.getResults().get(0);
1632     assertEquals(4, m.getStart());
1633     assertEquals(6, m.getEnd());
1634     sr = MappingUtils.buildSearchResults(pep1, 3, pep1CdsMappings);
1635     m = sr.getResults().get(0);
1636     assertEquals(7, m.getStart());
1637     assertEquals(9, m.getEnd());
1638     sr = MappingUtils.buildSearchResults(pep1, 4, pep1CdsMappings);
1639     m = sr.getResults().get(0);
1640     assertEquals(10, m.getStart());
1641     assertEquals(12, m.getEnd());
1642
1643     /*
1644      * Get mapping of pep2 to cds2 and verify it
1645      * maps GPG in pep2 to 1-3,4-6,7-9 in second CDS sequence
1646      */
1647     List<AlignedCodonFrame> pep2Mappings = MappingUtils
1648             .findMappingsForSequence(pep2, mappings);
1649     assertEquals(2, pep2Mappings.size());
1650     List<AlignedCodonFrame> pep2CdsMappings = MappingUtils
1651             .findMappingsForSequence(cds.getSequenceAt(1), pep2Mappings);
1652     assertEquals(1, pep2CdsMappings.size());
1653     sr = MappingUtils.buildSearchResults(pep2, 1, pep2CdsMappings);
1654     assertEquals(1, sr.getResults().size());
1655     m = sr.getResults().get(0);
1656     assertEquals(cds.getSequenceAt(1).getDatasetSequence(),
1657             m.getSequence());
1658     assertEquals(1, m.getStart());
1659     assertEquals(3, m.getEnd());
1660     sr = MappingUtils.buildSearchResults(pep2, 2, pep2CdsMappings);
1661     m = sr.getResults().get(0);
1662     assertEquals(4, m.getStart());
1663     assertEquals(6, m.getEnd());
1664     sr = MappingUtils.buildSearchResults(pep2, 3, pep2CdsMappings);
1665     m = sr.getResults().get(0);
1666     assertEquals(7, m.getStart());
1667     assertEquals(9, m.getEnd());
1668   }
1669
1670   /**
1671    * Test the method that realigns protein to match mapped codon alignment.
1672    */
1673   @Test(groups = { "Functional" })
1674   public void testAlignProteinAsDna_incompleteStartCodon()
1675   {
1676     // seq1: incomplete start codon (not mapped), then [3, 11]
1677     SequenceI dna1 = new Sequence("Seq1", "ccAAA-TTT-GGG-");
1678     // seq2 codons are [4, 5], [8, 11]
1679     SequenceI dna2 = new Sequence("Seq2", "ccaAA-ttT-GGG-");
1680     // seq3 incomplete start codon at 'tt'
1681     SequenceI dna3 = new Sequence("Seq3", "ccaaa-ttt-GGG-");
1682     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2, dna3 });
1683     dna.setDataset(null);
1684
1685     // prot1 has 'X' for incomplete start codon (not mapped)
1686     SequenceI prot1 = new Sequence("Seq1", "XKFG"); // X for incomplete start
1687     SequenceI prot2 = new Sequence("Seq2", "NG");
1688     SequenceI prot3 = new Sequence("Seq3", "XG"); // X for incomplete start
1689     AlignmentI protein = new Alignment(new SequenceI[] { prot1, prot2,
1690         prot3 });
1691     protein.setDataset(null);
1692
1693     // map dna1 [3, 11] to prot1 [2, 4] KFG
1694     MapList map = new MapList(new int[] { 3, 11 }, new int[] { 2, 4 }, 3, 1);
1695     AlignedCodonFrame acf = new AlignedCodonFrame();
1696     acf.addMap(dna1.getDatasetSequence(), prot1.getDatasetSequence(), map);
1697
1698     // map dna2 [4, 5] [8, 11] to prot2 [1, 2] NG
1699     map = new MapList(new int[] { 4, 5, 8, 11 }, new int[] { 1, 2 }, 3, 1);
1700     acf.addMap(dna2.getDatasetSequence(), prot2.getDatasetSequence(), map);
1701
1702     // map dna3 [9, 11] to prot3 [2, 2] G
1703     map = new MapList(new int[] { 9, 11 }, new int[] { 2, 2 }, 3, 1);
1704     acf.addMap(dna3.getDatasetSequence(), prot3.getDatasetSequence(), map);
1705
1706     ArrayList<AlignedCodonFrame> acfs = new ArrayList<AlignedCodonFrame>();
1707     acfs.add(acf);
1708     protein.setCodonFrames(acfs);
1709
1710     /*
1711      * verify X is included in the aligned proteins, and placed just
1712      * before the first mapped residue
1713      * CCT is between CCC and TTT
1714      */
1715     AlignmentUtils.alignProteinAsDna(protein, dna);
1716     assertEquals("XK-FG", prot1.getSequenceAsString());
1717     assertEquals("--N-G", prot2.getSequenceAsString());
1718     assertEquals("---XG", prot3.getSequenceAsString());
1719   }
1720
1721   /**
1722    * Tests for the method that maps the subset of a dna sequence that has CDS
1723    * (or subtype) feature - case where the start codon is incomplete.
1724    */
1725   @Test(groups = "Functional")
1726   public void testFindCdsPositions_fivePrimeIncomplete()
1727   {
1728     SequenceI dnaSeq = new Sequence("dna", "aaagGGCCCaaaTTTttt");
1729     dnaSeq.createDatasetSequence();
1730     SequenceI ds = dnaSeq.getDatasetSequence();
1731
1732     // CDS for dna 5-6 (incomplete codon), 7-9
1733     SequenceFeature sf = new SequenceFeature("CDS", "", 5, 9, 0f, null);
1734     sf.setPhase("2"); // skip 2 bases to start of next codon
1735     ds.addSequenceFeature(sf);
1736     // CDS for dna 13-15
1737     sf = new SequenceFeature("CDS_predicted", "", 13, 15, 0f, null);
1738     ds.addSequenceFeature(sf);
1739
1740     List<int[]> ranges = AlignmentUtils.findCdsPositions(dnaSeq);
1741
1742     /*
1743      * check the mapping starts with the first complete codon
1744      */
1745     assertEquals(6, MappingUtils.getLength(ranges));
1746     assertEquals(2, ranges.size());
1747     assertEquals(7, ranges.get(0)[0]);
1748     assertEquals(9, ranges.get(0)[1]);
1749     assertEquals(13, ranges.get(1)[0]);
1750     assertEquals(15, ranges.get(1)[1]);
1751   }
1752
1753   /**
1754    * Tests for the method that maps the subset of a dna sequence that has CDS
1755    * (or subtype) feature.
1756    */
1757   @Test(groups = "Functional")
1758   public void testFindCdsPositions()
1759   {
1760     SequenceI dnaSeq = new Sequence("dna", "aaaGGGcccAAATTTttt");
1761     dnaSeq.createDatasetSequence();
1762     SequenceI ds = dnaSeq.getDatasetSequence();
1763
1764     // CDS for dna 10-12
1765     SequenceFeature sf = new SequenceFeature("CDS_predicted", "", 10, 12,
1766             0f, null);
1767     sf.setStrand("+");
1768     ds.addSequenceFeature(sf);
1769     // CDS for dna 4-6
1770     sf = new SequenceFeature("CDS", "", 4, 6, 0f, null);
1771     sf.setStrand("+");
1772     ds.addSequenceFeature(sf);
1773     // exon feature should be ignored here
1774     sf = new SequenceFeature("exon", "", 7, 9, 0f, null);
1775     ds.addSequenceFeature(sf);
1776
1777     List<int[]> ranges = AlignmentUtils.findCdsPositions(dnaSeq);
1778     /*
1779      * verify ranges { [4-6], [12-10] }
1780      * note CDS ranges are ordered ascending even if the CDS
1781      * features are not
1782      */
1783     assertEquals(6, MappingUtils.getLength(ranges));
1784     assertEquals(2, ranges.size());
1785     assertEquals(4, ranges.get(0)[0]);
1786     assertEquals(6, ranges.get(0)[1]);
1787     assertEquals(10, ranges.get(1)[0]);
1788     assertEquals(12, ranges.get(1)[1]);
1789   }
1790
1791   /**
1792    * Test the method that computes a map of codon variants for each protein
1793    * position from "sequence_variant" features on dna
1794    */
1795   @Test(groups = "Functional")
1796   public void testBuildDnaVariantsMap()
1797   {
1798     SequenceI dna = new Sequence("dna", "atgAAATTTGGGCCCtag");
1799     MapList map = new MapList(new int[] { 1, 18 }, new int[] { 1, 5 }, 3, 1);
1800
1801     /*
1802      * first with no variants on dna
1803      */
1804     LinkedHashMap<Integer, List<DnaVariant>[]> variantsMap = AlignmentUtils
1805             .buildDnaVariantsMap(dna, map);
1806     assertTrue(variantsMap.isEmpty());
1807
1808     /*
1809      * single allele codon 1, on base 1
1810      */
1811     SequenceFeature sf1 = new SequenceFeature("sequence_variant", "", 1, 1,
1812             0f, null);
1813     sf1.setValue("alleles", "T");
1814     sf1.setValue("ID", "sequence_variant:rs758803211");
1815     dna.addSequenceFeature(sf1);
1816
1817     /*
1818      * two alleles codon 2, on bases 2 and 3 (distinct variants)
1819      */
1820     SequenceFeature sf2 = new SequenceFeature("sequence_variant", "", 5, 5,
1821             0f, null);
1822     sf2.setValue("alleles", "T");
1823     sf2.setValue("ID", "sequence_variant:rs758803212");
1824     dna.addSequenceFeature(sf2);
1825     SequenceFeature sf3 = new SequenceFeature("sequence_variant", "", 6, 6,
1826             0f, null);
1827     sf3.setValue("alleles", "G");
1828     sf3.setValue("ID", "sequence_variant:rs758803213");
1829     dna.addSequenceFeature(sf3);
1830
1831     /*
1832      * two alleles codon 3, both on base 2 (one variant)
1833      */
1834     SequenceFeature sf4 = new SequenceFeature("sequence_variant", "", 8, 8,
1835             0f, null);
1836     sf4.setValue("alleles", "C, G");
1837     sf4.setValue("ID", "sequence_variant:rs758803214");
1838     dna.addSequenceFeature(sf4);
1839
1840     // no alleles on codon 4
1841
1842     /*
1843      * alleles on codon 5 on all 3 bases (distinct variants)
1844      */
1845     SequenceFeature sf5 = new SequenceFeature("sequence_variant", "", 13,
1846             13, 0f, null);
1847     sf5.setValue("alleles", "C, G"); // (C duplicates given base value)
1848     sf5.setValue("ID", "sequence_variant:rs758803215");
1849     dna.addSequenceFeature(sf5);
1850     SequenceFeature sf6 = new SequenceFeature("sequence_variant", "", 14,
1851             14, 0f, null);
1852     sf6.setValue("alleles", "g, a"); // should force to upper-case
1853     sf6.setValue("ID", "sequence_variant:rs758803216");
1854     dna.addSequenceFeature(sf6);
1855     SequenceFeature sf7 = new SequenceFeature("sequence_variant", "", 15,
1856             15, 0f, null);
1857     sf7.setValue("alleles", "A, T");
1858     sf7.setValue("ID", "sequence_variant:rs758803217");
1859     dna.addSequenceFeature(sf7);
1860
1861     /*
1862      * build map - expect variants on positions 1, 2, 3, 5
1863      */
1864     variantsMap = AlignmentUtils.buildDnaVariantsMap(dna, map);
1865     assertEquals(4, variantsMap.size());
1866
1867     /*
1868      * protein residue 1: variant on codon (ATG) base 1, not on 2 or 3
1869      */
1870     List<DnaVariant>[] pep1Variants = variantsMap.get(1);
1871     assertEquals(3, pep1Variants.length);
1872     assertEquals(1, pep1Variants[0].size());
1873     assertEquals("A", pep1Variants[0].get(0).base); // codon[1] base
1874     assertSame(sf1, pep1Variants[0].get(0).variant); // codon[1] variant
1875     assertEquals(1, pep1Variants[1].size());
1876     assertEquals("T", pep1Variants[1].get(0).base); // codon[2] base
1877     assertNull(pep1Variants[1].get(0).variant); // no variant here
1878     assertEquals(1, pep1Variants[2].size());
1879     assertEquals("G", pep1Variants[2].get(0).base); // codon[3] base
1880     assertNull(pep1Variants[2].get(0).variant); // no variant here
1881
1882     /*
1883      * protein residue 2: variants on codon (AAA) bases 2 and 3
1884      */
1885     List<DnaVariant>[] pep2Variants = variantsMap.get(2);
1886     assertEquals(3, pep2Variants.length);
1887     assertEquals(1, pep2Variants[0].size());
1888     // codon[1] base recorded while processing variant on codon[2]
1889     assertEquals("A", pep2Variants[0].get(0).base);
1890     assertNull(pep2Variants[0].get(0).variant); // no variant here
1891     // codon[2] base and variant:
1892     assertEquals(1, pep2Variants[1].size());
1893     assertEquals("A", pep2Variants[1].get(0).base);
1894     assertSame(sf2, pep2Variants[1].get(0).variant);
1895     // codon[3] base was recorded when processing codon[2] variant
1896     // and then the variant for codon[3] added to it
1897     assertEquals(1, pep2Variants[2].size());
1898     assertEquals("A", pep2Variants[2].get(0).base);
1899     assertSame(sf3, pep2Variants[2].get(0).variant);
1900
1901     /*
1902      * protein residue 3: variants on codon (TTT) base 2 only
1903      */
1904     List<DnaVariant>[] pep3Variants = variantsMap.get(3);
1905     assertEquals(3, pep3Variants.length);
1906     assertEquals(1, pep3Variants[0].size());
1907     assertEquals("T", pep3Variants[0].get(0).base); // codon[1] base
1908     assertNull(pep3Variants[0].get(0).variant); // no variant here
1909     assertEquals(1, pep3Variants[1].size());
1910     assertEquals("T", pep3Variants[1].get(0).base); // codon[2] base
1911     assertSame(sf4, pep3Variants[1].get(0).variant); // codon[2] variant
1912     assertEquals(1, pep3Variants[2].size());
1913     assertEquals("T", pep3Variants[2].get(0).base); // codon[3] base
1914     assertNull(pep3Variants[2].get(0).variant); // no variant here
1915
1916     /*
1917      * three variants on protein position 5
1918      */
1919     List<DnaVariant>[] pep5Variants = variantsMap.get(5);
1920     assertEquals(3, pep5Variants.length);
1921     assertEquals(1, pep5Variants[0].size());
1922     assertEquals("C", pep5Variants[0].get(0).base); // codon[1] base
1923     assertSame(sf5, pep5Variants[0].get(0).variant); // codon[1] variant
1924     assertEquals(1, pep5Variants[1].size());
1925     assertEquals("C", pep5Variants[1].get(0).base); // codon[2] base
1926     assertSame(sf6, pep5Variants[1].get(0).variant); // codon[2] variant
1927     assertEquals(1, pep5Variants[2].size());
1928     assertEquals("C", pep5Variants[2].get(0).base); // codon[3] base
1929     assertSame(sf7, pep5Variants[2].get(0).variant); // codon[3] variant
1930   }
1931
1932   /**
1933    * Tests for the method that computes all peptide variants given codon
1934    * variants
1935    */
1936   @Test(groups = "Functional")
1937   public void testComputePeptideVariants()
1938   {
1939     /*
1940      * scenario: AAATTTCCC codes for KFP
1941      * variants:
1942      *           GAA -> E             source: Ensembl
1943      *           CAA -> Q             source: dbSNP
1944      *           AAG synonymous       source: COSMIC
1945      *           AAT -> N             source: Ensembl
1946      *           ...TTC synonymous    source: dbSNP
1947      *           ......CAC,CGC -> H,R source: COSMIC
1948      *                 (one variant with two alleles)
1949      */
1950     SequenceI peptide = new Sequence("pep/10-12", "KFP");
1951
1952     /*
1953      * two distinct variants for codon 1 position 1
1954      * second one has clinical significance
1955      */
1956     String ensembl = "Ensembl";
1957     String dbSnp = "dbSNP";
1958     String cosmic = "COSMIC";
1959     SequenceFeature sf1 = new SequenceFeature("sequence_variant", "", 1, 1,
1960             0f, ensembl);
1961     sf1.setValue("alleles", "A,G"); // GAA -> E
1962     sf1.setValue("ID", "var1.125A>G");
1963     SequenceFeature sf2 = new SequenceFeature("sequence_variant", "", 1, 1,
1964             0f, dbSnp);
1965     sf2.setValue("alleles", "A,C"); // CAA -> Q
1966     sf2.setValue("ID", "var2");
1967     sf2.setValue("clinical_significance", "Dodgy");
1968     SequenceFeature sf3 = new SequenceFeature("sequence_variant", "", 3, 3,
1969             0f, cosmic);
1970     sf3.setValue("alleles", "A,G"); // synonymous
1971     sf3.setValue("ID", "var3");
1972     sf3.setValue("clinical_significance", "None");
1973     SequenceFeature sf4 = new SequenceFeature("sequence_variant", "", 3, 3,
1974             0f, ensembl);
1975     sf4.setValue("alleles", "A,T"); // AAT -> N
1976     sf4.setValue("ID", "sequence_variant:var4"); // prefix gets stripped off
1977     sf4.setValue("clinical_significance", "Benign");
1978     SequenceFeature sf5 = new SequenceFeature("sequence_variant", "", 6, 6,
1979             0f, dbSnp);
1980     sf5.setValue("alleles", "T,C"); // synonymous
1981     sf5.setValue("ID", "var5");
1982     sf5.setValue("clinical_significance", "Bad");
1983     SequenceFeature sf6 = new SequenceFeature("sequence_variant", "", 8, 8,
1984             0f, cosmic);
1985     sf6.setValue("alleles", "C,A,G"); // CAC,CGC -> H,R
1986     sf6.setValue("ID", "var6");
1987     sf6.setValue("clinical_significance", "Good");
1988
1989     List<DnaVariant> codon1Variants = new ArrayList<DnaVariant>();
1990     List<DnaVariant> codon2Variants = new ArrayList<DnaVariant>();
1991     List<DnaVariant> codon3Variants = new ArrayList<DnaVariant>();
1992     List<DnaVariant> codonVariants[] = new ArrayList[3];
1993     codonVariants[0] = codon1Variants;
1994     codonVariants[1] = codon2Variants;
1995     codonVariants[2] = codon3Variants;
1996
1997     /*
1998      * compute variants for protein position 1
1999      */
2000     codon1Variants.add(new DnaVariant("A", sf1));
2001     codon1Variants.add(new DnaVariant("A", sf2));
2002     codon2Variants.add(new DnaVariant("A"));
2003     codon2Variants.add(new DnaVariant("A"));
2004     codon3Variants.add(new DnaVariant("A", sf3));
2005     codon3Variants.add(new DnaVariant("A", sf4));
2006     AlignmentUtils.computePeptideVariants(peptide, 1, codonVariants);
2007
2008     /*
2009      * compute variants for protein position 2
2010      */
2011     codon1Variants.clear();
2012     codon2Variants.clear();
2013     codon3Variants.clear();
2014     codon1Variants.add(new DnaVariant("T"));
2015     codon2Variants.add(new DnaVariant("T"));
2016     codon3Variants.add(new DnaVariant("T", sf5));
2017     AlignmentUtils.computePeptideVariants(peptide, 2, codonVariants);
2018
2019     /*
2020      * compute variants for protein position 3
2021      */
2022     codon1Variants.clear();
2023     codon2Variants.clear();
2024     codon3Variants.clear();
2025     codon1Variants.add(new DnaVariant("C"));
2026     codon2Variants.add(new DnaVariant("C", sf6));
2027     codon3Variants.add(new DnaVariant("C"));
2028     AlignmentUtils.computePeptideVariants(peptide, 3, codonVariants);
2029
2030     /*
2031      * verify added sequence features for
2032      * var1 K -> E Ensembl
2033      * var2 K -> Q dbSNP
2034      * var4 K -> N Ensembl
2035      * var6 P -> H COSMIC
2036      * var6 P -> R COSMIC
2037      */
2038     SequenceFeature[] sfs = peptide.getSequenceFeatures();
2039     assertEquals(5, sfs.length);
2040
2041     SequenceFeature sf = sfs[0];
2042     assertEquals(1, sf.getBegin());
2043     assertEquals(1, sf.getEnd());
2044     assertEquals("p.Lys1Glu", sf.getDescription());
2045     assertEquals("var1.125A>G", sf.getValue("ID"));
2046     assertNull(sf.getValue("clinical_significance"));
2047     assertEquals("ID=var1.125A>G", sf.getAttributes());
2048     assertEquals(1, sf.links.size());
2049     // link to variation is urlencoded
2050     assertEquals(
2051             "p.Lys1Glu var1.125A>G|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var1.125A%3EG",
2052             sf.links.get(0));
2053     assertEquals(ensembl, sf.getFeatureGroup());
2054
2055     sf = sfs[1];
2056     assertEquals(1, sf.getBegin());
2057     assertEquals(1, sf.getEnd());
2058     assertEquals("p.Lys1Gln", sf.getDescription());
2059     assertEquals("var2", sf.getValue("ID"));
2060     assertEquals("Dodgy", sf.getValue("clinical_significance"));
2061     assertEquals("ID=var2;clinical_significance=Dodgy", sf.getAttributes());
2062     assertEquals(1, sf.links.size());
2063     assertEquals(
2064             "p.Lys1Gln var2|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var2",
2065             sf.links.get(0));
2066     assertEquals(dbSnp, sf.getFeatureGroup());
2067
2068     sf = sfs[2];
2069     assertEquals(1, sf.getBegin());
2070     assertEquals(1, sf.getEnd());
2071     assertEquals("p.Lys1Asn", sf.getDescription());
2072     assertEquals("var4", sf.getValue("ID"));
2073     assertEquals("Benign", sf.getValue("clinical_significance"));
2074     assertEquals("ID=var4;clinical_significance=Benign", sf.getAttributes());
2075     assertEquals(1, sf.links.size());
2076     assertEquals(
2077             "p.Lys1Asn var4|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var4",
2078             sf.links.get(0));
2079     assertEquals(ensembl, sf.getFeatureGroup());
2080
2081     // var5 generates two distinct protein variant features
2082     sf = sfs[3];
2083     assertEquals(3, sf.getBegin());
2084     assertEquals(3, sf.getEnd());
2085     assertEquals("p.Pro3His", sf.getDescription());
2086     assertEquals("var6", sf.getValue("ID"));
2087     assertEquals("Good", sf.getValue("clinical_significance"));
2088     assertEquals("ID=var6;clinical_significance=Good", sf.getAttributes());
2089     assertEquals(1, sf.links.size());
2090     assertEquals(
2091             "p.Pro3His var6|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var6",
2092             sf.links.get(0));
2093     assertEquals(cosmic, sf.getFeatureGroup());
2094
2095     sf = sfs[4];
2096     assertEquals(3, sf.getBegin());
2097     assertEquals(3, sf.getEnd());
2098     assertEquals("p.Pro3Arg", sf.getDescription());
2099     assertEquals("var6", sf.getValue("ID"));
2100     assertEquals("Good", sf.getValue("clinical_significance"));
2101     assertEquals("ID=var6;clinical_significance=Good", sf.getAttributes());
2102     assertEquals(1, sf.links.size());
2103     assertEquals(
2104             "p.Pro3Arg var6|http://www.ensembl.org/Homo_sapiens/Variation/Summary?v=var6",
2105             sf.links.get(0));
2106     assertEquals(cosmic, sf.getFeatureGroup());
2107   }
2108
2109   /**
2110    * Tests for the method that maps the subset of a dna sequence that has CDS
2111    * (or subtype) feature, with CDS strand = '-' (reverse)
2112    */
2113   // test turned off as currently findCdsPositions is not strand-dependent
2114   // left in case it comes around again...
2115   @Test(groups = "Functional", enabled = false)
2116   public void testFindCdsPositions_reverseStrand()
2117   {
2118     SequenceI dnaSeq = new Sequence("dna", "aaaGGGcccAAATTTttt");
2119     dnaSeq.createDatasetSequence();
2120     SequenceI ds = dnaSeq.getDatasetSequence();
2121
2122     // CDS for dna 4-6
2123     SequenceFeature sf = new SequenceFeature("CDS", "", 4, 6, 0f, null);
2124     sf.setStrand("-");
2125     ds.addSequenceFeature(sf);
2126     // exon feature should be ignored here
2127     sf = new SequenceFeature("exon", "", 7, 9, 0f, null);
2128     ds.addSequenceFeature(sf);
2129     // CDS for dna 10-12
2130     sf = new SequenceFeature("CDS_predicted", "", 10, 12, 0f, null);
2131     sf.setStrand("-");
2132     ds.addSequenceFeature(sf);
2133
2134     List<int[]> ranges = AlignmentUtils.findCdsPositions(dnaSeq);
2135     /*
2136      * verify ranges { [12-10], [6-4] }
2137      */
2138     assertEquals(6, MappingUtils.getLength(ranges));
2139     assertEquals(2, ranges.size());
2140     assertEquals(12, ranges.get(0)[0]);
2141     assertEquals(10, ranges.get(0)[1]);
2142     assertEquals(6, ranges.get(1)[0]);
2143     assertEquals(4, ranges.get(1)[1]);
2144   }
2145
2146   /**
2147    * Tests for the method that maps the subset of a dna sequence that has CDS
2148    * (or subtype) feature - reverse strand case where the start codon is
2149    * incomplete.
2150    */
2151   @Test(groups = "Functional", enabled = false)
2152   // test turned off as currently findCdsPositions is not strand-dependent
2153   // left in case it comes around again...
2154   public void testFindCdsPositions_reverseStrandThreePrimeIncomplete()
2155   {
2156     SequenceI dnaSeq = new Sequence("dna", "aaagGGCCCaaaTTTttt");
2157     dnaSeq.createDatasetSequence();
2158     SequenceI ds = dnaSeq.getDatasetSequence();
2159
2160     // CDS for dna 5-9
2161     SequenceFeature sf = new SequenceFeature("CDS", "", 5, 9, 0f, null);
2162     sf.setStrand("-");
2163     ds.addSequenceFeature(sf);
2164     // CDS for dna 13-15
2165     sf = new SequenceFeature("CDS_predicted", "", 13, 15, 0f, null);
2166     sf.setStrand("-");
2167     sf.setPhase("2"); // skip 2 bases to start of next codon
2168     ds.addSequenceFeature(sf);
2169
2170     List<int[]> ranges = AlignmentUtils.findCdsPositions(dnaSeq);
2171
2172     /*
2173      * check the mapping starts with the first complete codon
2174      * expect ranges [13, 13], [9, 5]
2175      */
2176     assertEquals(6, MappingUtils.getLength(ranges));
2177     assertEquals(2, ranges.size());
2178     assertEquals(13, ranges.get(0)[0]);
2179     assertEquals(13, ranges.get(0)[1]);
2180     assertEquals(9, ranges.get(1)[0]);
2181     assertEquals(5, ranges.get(1)[1]);
2182   }
2183
2184   @Test(groups = "Functional")
2185   public void testAlignAs_alternateTranscriptsUngapped()
2186   {
2187     SequenceI dna1 = new Sequence("dna1", "cccGGGTTTaaa");
2188     SequenceI dna2 = new Sequence("dna2", "CCCgggtttAAA");
2189     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2 });
2190     ((Alignment) dna).createDatasetAlignment();
2191     SequenceI cds1 = new Sequence("cds1", "GGGTTT");
2192     SequenceI cds2 = new Sequence("cds2", "CCCAAA");
2193     AlignmentI cds = new Alignment(new SequenceI[] { cds1, cds2 });
2194     ((Alignment) cds).createDatasetAlignment();
2195
2196     AlignedCodonFrame acf = new AlignedCodonFrame();
2197     MapList map = new MapList(new int[] { 4, 9 }, new int[] { 1, 6 }, 1, 1);
2198     acf.addMap(dna1.getDatasetSequence(), cds1.getDatasetSequence(), map);
2199     map = new MapList(new int[] { 1, 3, 10, 12 }, new int[] { 1, 6 }, 1, 1);
2200     acf.addMap(dna2.getDatasetSequence(), cds2.getDatasetSequence(), map);
2201
2202     /*
2203      * verify CDS alignment is as:
2204      *   cccGGGTTTaaa (cdna)
2205      *   CCCgggtttAAA (cdna)
2206      *
2207      *   ---GGGTTT--- (cds)
2208      *   CCC------AAA (cds)
2209      */
2210     dna.addCodonFrame(acf);
2211     AlignmentUtils.alignAs(cds, dna);
2212     assertEquals("---GGGTTT", cds.getSequenceAt(0).getSequenceAsString());
2213     assertEquals("CCC------AAA", cds.getSequenceAt(1).getSequenceAsString());
2214   }
2215
2216   @Test(groups = { "Functional" })
2217   public void testAddMappedPositions()
2218   {
2219     SequenceI from = new Sequence("dna", "ggAA-ATcc-TT-g");
2220     SequenceI seq1 = new Sequence("cds", "AAATTT");
2221     from.createDatasetSequence();
2222     seq1.createDatasetSequence();
2223     Mapping mapping = new Mapping(seq1, new MapList(
2224             new int[] { 3, 6, 9, 10 },
2225             new int[] { 1, 6 }, 1, 1));
2226     Map<Integer, Map<SequenceI, Character>> map = new TreeMap<Integer, Map<SequenceI, Character>>();
2227     AlignmentUtils.addMappedPositions(seq1, from, mapping, map);
2228
2229     /*
2230      * verify map has seq1 residues in columns 3,4,6,7,11,12
2231      */
2232     assertEquals(6, map.size());
2233     assertEquals('A', map.get(3).get(seq1).charValue());
2234     assertEquals('A', map.get(4).get(seq1).charValue());
2235     assertEquals('A', map.get(6).get(seq1).charValue());
2236     assertEquals('T', map.get(7).get(seq1).charValue());
2237     assertEquals('T', map.get(11).get(seq1).charValue());
2238     assertEquals('T', map.get(12).get(seq1).charValue());
2239
2240     /*
2241      *
2242      */
2243   }
2244
2245   /**
2246    * Test case where the mapping 'from' range includes a stop codon which is
2247    * absent in the 'to' range
2248    */
2249   @Test(groups = { "Functional" })
2250   public void testAddMappedPositions_withStopCodon()
2251   {
2252     SequenceI from = new Sequence("dna", "ggAA-ATcc-TT-g");
2253     SequenceI seq1 = new Sequence("cds", "AAATTT");
2254     from.createDatasetSequence();
2255     seq1.createDatasetSequence();
2256     Mapping mapping = new Mapping(seq1, new MapList(
2257             new int[] { 3, 6, 9, 10 },
2258             new int[] { 1, 6 }, 1, 1));
2259     Map<Integer, Map<SequenceI, Character>> map = new TreeMap<Integer, Map<SequenceI, Character>>();
2260     AlignmentUtils.addMappedPositions(seq1, from, mapping, map);
2261
2262     /*
2263      * verify map has seq1 residues in columns 3,4,6,7,11,12
2264      */
2265     assertEquals(6, map.size());
2266     assertEquals('A', map.get(3).get(seq1).charValue());
2267     assertEquals('A', map.get(4).get(seq1).charValue());
2268     assertEquals('A', map.get(6).get(seq1).charValue());
2269     assertEquals('T', map.get(7).get(seq1).charValue());
2270     assertEquals('T', map.get(11).get(seq1).charValue());
2271     assertEquals('T', map.get(12).get(seq1).charValue());
2272   }
2273
2274   /**
2275    * Test for the case where the products for which we want CDS are specified.
2276    * This is to represent the case where EMBL has CDS mappings to both Uniprot
2277    * and EMBLCDSPROTEIN. makeCdsAlignment() should only return the mappings for
2278    * the protein sequences specified.
2279    */
2280   @Test(groups = { "Functional" })
2281   public void testMakeCdsAlignment_filterProducts()
2282   {
2283     SequenceI dna1 = new Sequence("dna1", "aaaGGGcccTTTaaa");
2284     SequenceI dna2 = new Sequence("dna2", "GGGcccTTTaaaCCC");
2285     SequenceI pep1 = new Sequence("Uniprot|pep1", "GF");
2286     SequenceI pep2 = new Sequence("Uniprot|pep2", "GFP");
2287     SequenceI pep3 = new Sequence("EMBL|pep3", "GF");
2288     SequenceI pep4 = new Sequence("EMBL|pep4", "GFP");
2289     dna1.createDatasetSequence();
2290     dna2.createDatasetSequence();
2291     pep1.createDatasetSequence();
2292     pep2.createDatasetSequence();
2293     pep3.createDatasetSequence();
2294     pep4.createDatasetSequence();
2295     AlignmentI dna = new Alignment(new SequenceI[] { dna1, dna2 });
2296     dna.setDataset(null);
2297     AlignmentI emblPeptides = new Alignment(new SequenceI[] { pep3, pep4 });
2298     emblPeptides.setDataset(null);
2299
2300     AlignedCodonFrame acf = new AlignedCodonFrame();
2301     MapList map = new MapList(new int[] { 4, 6, 10, 12 },
2302             new int[] { 1, 2 }, 3, 1);
2303     acf.addMap(dna1.getDatasetSequence(), pep1.getDatasetSequence(), map);
2304     acf.addMap(dna1.getDatasetSequence(), pep3.getDatasetSequence(), map);
2305     dna.addCodonFrame(acf);
2306
2307     acf = new AlignedCodonFrame();
2308     map = new MapList(new int[] { 1, 3, 7, 9, 13, 15 }, new int[] { 1, 3 },
2309             3, 1);
2310     acf.addMap(dna2.getDatasetSequence(), pep2.getDatasetSequence(), map);
2311     acf.addMap(dna2.getDatasetSequence(), pep4.getDatasetSequence(), map);
2312     dna.addCodonFrame(acf);
2313
2314     /*
2315      * execute method under test to find CDS for EMBL peptides only
2316      */
2317     AlignmentI cds = AlignmentUtils.makeCdsAlignment(new SequenceI[] {
2318         dna1, dna2 }, dna.getDataset(), emblPeptides.getSequencesArray());
2319
2320     assertEquals(2, cds.getSequences().size());
2321     assertEquals("GGGTTT", cds.getSequenceAt(0).getSequenceAsString());
2322     assertEquals("GGGTTTCCC", cds.getSequenceAt(1).getSequenceAsString());
2323
2324     /*
2325      * verify shared, extended alignment dataset
2326      */
2327     assertSame(dna.getDataset(), cds.getDataset());
2328     assertTrue(dna.getDataset().getSequences()
2329             .contains(cds.getSequenceAt(0).getDatasetSequence()));
2330     assertTrue(dna.getDataset().getSequences()
2331             .contains(cds.getSequenceAt(1).getDatasetSequence()));
2332
2333     /*
2334      * Verify mappings from CDS to peptide, cDNA to CDS, and cDNA to peptide
2335      * the mappings are on the shared alignment dataset
2336      */
2337     List<AlignedCodonFrame> cdsMappings = cds.getDataset().getCodonFrames();
2338     /*
2339      * 6 mappings, 2*(DNA->CDS), 2*(DNA->Pep), 2*(CDS->Pep)
2340      */
2341     assertEquals(6, cdsMappings.size());
2342
2343     /*
2344      * verify that mapping sets for dna and cds alignments are different
2345      * [not current behaviour - all mappings are on the alignment dataset]
2346      */
2347     // select -> subselect type to test.
2348     // Assert.assertNotSame(dna.getCodonFrames(), cds.getCodonFrames());
2349     // assertEquals(4, dna.getCodonFrames().size());
2350     // assertEquals(4, cds.getCodonFrames().size());
2351
2352     /*
2353      * Two mappings involve pep3 (dna to pep3, cds to pep3)
2354      * Mapping from pep3 to GGGTTT in first new exon sequence
2355      */
2356     List<AlignedCodonFrame> pep3Mappings = MappingUtils
2357             .findMappingsForSequence(pep3, cdsMappings);
2358     assertEquals(2, pep3Mappings.size());
2359     List<AlignedCodonFrame> mappings = MappingUtils
2360             .findMappingsForSequence(cds.getSequenceAt(0), pep3Mappings);
2361     assertEquals(1, mappings.size());
2362
2363     // map G to GGG
2364     SearchResults sr = MappingUtils.buildSearchResults(pep3, 1, mappings);
2365     assertEquals(1, sr.getResults().size());
2366     Match m = sr.getResults().get(0);
2367     assertSame(cds.getSequenceAt(0).getDatasetSequence(), m.getSequence());
2368     assertEquals(1, m.getStart());
2369     assertEquals(3, m.getEnd());
2370     // map F to TTT
2371     sr = MappingUtils.buildSearchResults(pep3, 2, mappings);
2372     m = sr.getResults().get(0);
2373     assertSame(cds.getSequenceAt(0).getDatasetSequence(), m.getSequence());
2374     assertEquals(4, m.getStart());
2375     assertEquals(6, m.getEnd());
2376
2377     /*
2378      * Two mappings involve pep4 (dna to pep4, cds to pep4)
2379      * Verify mapping from pep4 to GGGTTTCCC in second new exon sequence
2380      */
2381     List<AlignedCodonFrame> pep4Mappings = MappingUtils
2382             .findMappingsForSequence(pep4, cdsMappings);
2383     assertEquals(2, pep4Mappings.size());
2384     mappings = MappingUtils.findMappingsForSequence(cds.getSequenceAt(1),
2385             pep4Mappings);
2386     assertEquals(1, mappings.size());
2387     // map G to GGG
2388     sr = MappingUtils.buildSearchResults(pep4, 1, mappings);
2389     assertEquals(1, sr.getResults().size());
2390     m = sr.getResults().get(0);
2391     assertSame(cds.getSequenceAt(1).getDatasetSequence(), m.getSequence());
2392     assertEquals(1, m.getStart());
2393     assertEquals(3, m.getEnd());
2394     // map F to TTT
2395     sr = MappingUtils.buildSearchResults(pep4, 2, mappings);
2396     m = sr.getResults().get(0);
2397     assertSame(cds.getSequenceAt(1).getDatasetSequence(), m.getSequence());
2398     assertEquals(4, m.getStart());
2399     assertEquals(6, m.getEnd());
2400     // map P to CCC
2401     sr = MappingUtils.buildSearchResults(pep4, 3, mappings);
2402     m = sr.getResults().get(0);
2403     assertSame(cds.getSequenceAt(1).getDatasetSequence(), m.getSequence());
2404     assertEquals(7, m.getStart());
2405     assertEquals(9, m.getEnd());
2406   }
2407
2408   /**
2409    * Test the method that just copies aligned sequences, provided all sequences
2410    * to be aligned share the aligned sequence's dataset
2411    */
2412   @Test(groups = "Functional")
2413   public void testAlignAsSameSequences()
2414   {
2415     SequenceI dna1 = new Sequence("dna1", "cccGGGTTTaaa");
2416     SequenceI dna2 = new Sequence("dna2", "CCCgggtttAAA");
2417     AlignmentI al1 = new Alignment(new SequenceI[] { dna1, dna2 });
2418     ((Alignment) al1).createDatasetAlignment();
2419
2420     SequenceI dna3 = new Sequence(dna1);
2421     SequenceI dna4 = new Sequence(dna2);
2422     assertSame(dna3.getDatasetSequence(), dna1.getDatasetSequence());
2423     assertSame(dna4.getDatasetSequence(), dna2.getDatasetSequence());
2424     String seq1 = "-cc-GG-GT-TT--aaa";
2425     dna3.setSequence(seq1);
2426     String seq2 = "C--C-Cgg--gtt-tAA-A-";
2427     dna4.setSequence(seq2);
2428     AlignmentI al2 = new Alignment(new SequenceI[] { dna3, dna4 });
2429     ((Alignment) al2).createDatasetAlignment();
2430
2431     assertTrue(AlignmentUtils.alignAsSameSequences(al1, al2));
2432     assertEquals(seq1, al1.getSequenceAt(0).getSequenceAsString());
2433     assertEquals(seq2, al1.getSequenceAt(1).getSequenceAsString());
2434
2435     /*
2436      * add another sequence to 'aligned' - should still succeed, since
2437      * unaligned sequences still share a dataset with aligned sequences
2438      */
2439     SequenceI dna5 = new Sequence("dna5", "CCCgggtttAAA");
2440     dna5.createDatasetSequence();
2441     al2.addSequence(dna5);
2442     assertTrue(AlignmentUtils.alignAsSameSequences(al1, al2));
2443     assertEquals(seq1, al1.getSequenceAt(0).getSequenceAsString());
2444     assertEquals(seq2, al1.getSequenceAt(1).getSequenceAsString());
2445
2446     /*
2447      * add another sequence to 'unaligned' - should fail, since now not
2448      * all unaligned sequences share a dataset with aligned sequences
2449      */
2450     SequenceI dna6 = new Sequence("dna6", "CCCgggtttAAA");
2451     dna6.createDatasetSequence();
2452     al1.addSequence(dna6);
2453     // JAL-2110 JBP Comment: what's the use case for this behaviour ?
2454     assertFalse(AlignmentUtils.alignAsSameSequences(al1, al2));
2455   }
2456
2457   @Test(groups = "Functional")
2458   public void testAlignAsSameSequencesMultipleSubSeq()
2459   {
2460     SequenceI dna1 = new Sequence("dna1", "cccGGGTTTaaa");
2461     SequenceI dna2 = new Sequence("dna2", "CCCgggtttAAA");
2462     SequenceI as1 = dna1.deriveSequence();
2463     SequenceI as2 = dna1.deriveSequence().getSubSequence(3, 7);
2464     SequenceI as3 = dna2.deriveSequence();
2465     as1.insertCharAt(6, 5, '-');
2466     String s_as1 = as1.getSequenceAsString();
2467     as2.insertCharAt(6, 5, '-');
2468     String s_as2 = as2.getSequenceAsString();
2469     as3.insertCharAt(6, 5, '-');
2470     String s_as3 = as3.getSequenceAsString();
2471     AlignmentI aligned = new Alignment(new SequenceI[] { as1, as2, as3 });
2472
2473     // why do we need to cast this still ?
2474     ((Alignment) aligned).createDatasetAlignment();
2475     SequenceI uas1 = dna1.deriveSequence();
2476     SequenceI uas2 = dna1.deriveSequence().getSubSequence(3, 7);
2477     SequenceI uas3 = dna2.deriveSequence();
2478     AlignmentI tobealigned = new Alignment(new SequenceI[] { uas1, uas2,
2479         uas3 });
2480     ((Alignment) tobealigned).createDatasetAlignment();
2481
2482     assertTrue(AlignmentUtils.alignAsSameSequences(tobealigned, aligned));
2483     assertEquals(s_as1, uas1.getSequenceAsString());
2484     assertEquals(s_as2, uas2.getSequenceAsString());
2485     assertEquals(s_as3, uas3.getSequenceAsString());
2486   }
2487
2488 }