test/jalview/datamodel/AlignmentTest.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.datamodel;
  22
  23 import static org.testng.AssertJUnit.assertEquals;
  24 import static org.testng.AssertJUnit.assertFalse;
  25 import static org.testng.AssertJUnit.assertNotNull;
  26 import static org.testng.AssertJUnit.assertNull;
  27 import static org.testng.AssertJUnit.assertSame;
  28 import static org.testng.AssertJUnit.assertTrue;
  29
  30 import jalview.datamodel.AlignedCodonFrame.SequenceToSequenceMapping;
  31 import jalview.gui.JvOptionPane;
  32 import jalview.io.DataSourceType;
  33 import jalview.io.FileFormat;
  34 import jalview.io.FileFormatI;
  35 import jalview.io.FormatAdapter;
  36 import jalview.util.MapList;
  37
  38 import java.io.IOException;
  39 import java.util.ArrayList;
  40 import java.util.Arrays;
  41 import java.util.Iterator;
  42 import java.util.List;
  43
  44 import org.testng.Assert;
  45 import org.testng.annotations.BeforeClass;
  46 import org.testng.annotations.BeforeMethod;
  47 import org.testng.annotations.Test;
  48
  49 /**
  50  * Unit tests for Alignment datamodel.
  51  *
  52  * @author gmcarstairs
  53  *
  54  */
  55 public class AlignmentTest
  56 {
  57
  58   @BeforeClass(alwaysRun = true)
  59   public void setUpJvOptionPane()
  60   {
  61     JvOptionPane.setInteractiveMode(false);
  62     JvOptionPane.setMockResponse(JvOptionPane.CANCEL_OPTION);
  63   }
  64
  65   // @formatter:off
  66   private static final String TEST_DATA =
  67           "# STOCKHOLM 1.0\n" +
  68           "#=GS D.melanogaster.1 AC AY119185.1/838-902\n" +
  69           "#=GS D.melanogaster.2 AC AC092237.1/57223-57161\n" +
  70           "#=GS D.melanogaster.3 AC AY060611.1/560-627\n" +
  71           "D.melanogaster.1          G.AGCC.CU...AUGAUCGA\n" +
  72           "#=GR D.melanogaster.1 SS  ................((((\n" +
  73           "D.melanogaster.2          C.AUUCAACU.UAUGAGGAU\n" +
  74           "#=GR D.melanogaster.2 SS  ................((((\n" +
  75           "D.melanogaster.3          G.UGGCGCU..UAUGACGCA\n" +
  76           "#=GR D.melanogaster.3 SS  (.(((...(....(((((((\n" +
  77           "//";
  78
  79   private static final String AA_SEQS_1 =
  80           ">Seq1Name/5-8\n" +
  81           "K-QY--L\n" +
  82           ">Seq2Name/12-15\n" +
  83           "-R-FP-W-\n";
  84
  85   private static final String CDNA_SEQS_1 =
  86           ">Seq1Name/100-111\n" +
  87           "AC-GG--CUC-CAA-CT\n" +
  88           ">Seq2Name/200-211\n" +
  89           "-CG-TTA--ACG---AAGT\n";
  90
  91   private static final String CDNA_SEQS_2 =
  92           ">Seq1Name/50-61\n" +
  93           "GCTCGUCGTACT\n" +
  94           ">Seq2Name/60-71\n" +
  95           "GGGTCAGGCAGT\n";
  96   // @formatter:on
  97
  98   private AlignmentI al;
  99
 100   /**
 101    * Helper method to load an alignment and ensure dataset sequences are set up.
 102    *
 103    * @param data
 104    * @param format
 105    *          TODO
 106    * @return
 107    * @throws IOException
 108    */
 109   protected AlignmentI loadAlignment(final String data, FileFormatI format)
 110           throws IOException
 111   {
 112     AlignmentI a = new FormatAdapter().readFile(data, DataSourceType.PASTE,
 113             format);
 114     a.setDataset(null);
 115     return a;
 116   }
 117
 118   /**
 119    * assert wrapper: tests all references in the given alignment are consistent
 120    *
 121    * @param alignment
 122    */
 123   public static void assertAlignmentDatasetRefs(AlignmentI alignment)
 124   {
 125     verifyAlignmentDatasetRefs(alignment, true, null);
 126   }
 127
 128   /**
 129    * assert wrapper: tests all references in the given alignment are consistent
 130    *
 131    * @param alignment
 132    * @param message
 133    *          - prefixed to any assert failed messages
 134    */
 135   public static void assertAlignmentDatasetRefs(AlignmentI alignment,
 136           String message)
 137   {
 138     verifyAlignmentDatasetRefs(alignment, true, message);
 139   }
 140
 141   /**
 142    * verify sequence and dataset references are properly contained within
 143    * dataset
 144    *
 145    * @param alignment
 146    *          - the alignmentI object to verify (either alignment or dataset)
 147    * @param raiseAssert
 148    *          - when set, testng assertions are raised.
 149    * @param message
 150    *          - null or a string message to prepend to the assert failed
 151    *          messages.
 152    * @return true if alignment references were in order, otherwise false.
 153    */
 154   public static boolean verifyAlignmentDatasetRefs(AlignmentI alignment,
 155           boolean raiseAssert, String message)
 156   {
 157     if (message == null)
 158     {
 159       message = "";
 160     }
 161     if (alignment == null)
 162     {
 163       if (raiseAssert)
 164       {
 165         Assert.fail(message + "Alignment for verification was null.");
 166       }
 167       return false;
 168     }
 169     if (alignment.getDataset() != null)
 170     {
 171       AlignmentI dataset = alignment.getDataset();
 172       // check all alignment sequences have their dataset within the dataset
 173       for (SequenceI seq : alignment.getSequences())
 174       {
 175         SequenceI seqds = seq.getDatasetSequence();
 176         if (seqds.getDatasetSequence() != null)
 177         {
 178           if (raiseAssert)
 179           {
 180             Assert.fail(message
 181                     + " Alignment contained a sequence who's dataset sequence has a second dataset reference.");
 182           }
 183           return false;
 184         }
 185         if (dataset.findIndex(seqds) == -1)
 186         {
 187           if (raiseAssert)
 188           {
 189             Assert.fail(message
 190                     + " Alignment contained a sequence who's dataset sequence was not in the dataset.");
 191           }
 192           return false;
 193         }
 194       }
 195       return verifyAlignmentDatasetRefs(alignment.getDataset(),
 196               raiseAssert, message);
 197     }
 198     else
 199     {
 200       int dsp = -1;
 201       // verify all dataset sequences
 202       for (SequenceI seqds : alignment.getSequences())
 203       {
 204         dsp++;
 205         if (seqds.getDatasetSequence() != null)
 206         {
 207           if (raiseAssert)
 208           {
 209             Assert.fail(message
 210                     + " Dataset contained a sequence with non-null dataset reference (ie not a dataset sequence!)");
 211           }
 212           return false;
 213         }
 214         int foundp = alignment.findIndex(seqds);
 215         if (foundp != dsp)
 216         {
 217           if (raiseAssert)
 218           {
 219             Assert.fail(message
 220                     + " Dataset sequence array contains a reference at "
 221                     + dsp + " to a sequence first seen at " + foundp + " ("
 222                     + seqds.toString() + ")");
 223           }
 224           return false;
 225         }
 226         if (seqds.getDBRefs() != null)
 227         {
 228           for (DBRefEntry dbr : seqds.getDBRefs())
 229           {
 230             if (dbr.getMap() != null)
 231             {
 232               SequenceI seqdbrmapto = dbr.getMap().getTo();
 233               if (seqdbrmapto != null)
 234               {
 235                 if (seqdbrmapto.getDatasetSequence() != null)
 236                 {
 237                   if (raiseAssert)
 238                   {
 239                     Assert.fail(message
 240                             + " DBRefEntry for sequence in alignment had map to sequence which was not a dataset sequence");
 241                   }
 242                   return false;
 243
 244                 }
 245                 if (alignment.findIndex(dbr.getMap().getTo()) == -1)
 246                 {
 247                   if (raiseAssert)
 248                   {
 249                     Assert.fail(message
 250                             + " DBRefEntry for sequence in alignment had map to sequence not in dataset");
 251                   }
 252                   return false;
 253                 }
 254               }
 255             }
 256           }
 257         }
 258       }
 259       // finally, verify codonmappings involve only dataset sequences.
 260       if (alignment.getCodonFrames() != null)
 261       {
 262         for (AlignedCodonFrame alc : alignment.getCodonFrames())
 263         {
 264           for (SequenceToSequenceMapping ssm : alc.getMappings())
 265           {
 266             if (ssm.getFromSeq().getDatasetSequence() != null)
 267             {
 268               if (raiseAssert)
 269               {
 270                 Assert.fail(message
 271                         + " CodonFrame-SSM-FromSeq is not a dataset sequence");
 272               }
 273               return false;
 274             }
 275             if (alignment.findIndex(ssm.getFromSeq()) == -1)
 276             {
 277
 278               if (raiseAssert)
 279               {
 280                 Assert.fail(message
 281                         + " CodonFrame-SSM-FromSeq is not contained in dataset");
 282               }
 283               return false;
 284             }
 285             if (ssm.getMapping().getTo().getDatasetSequence() != null)
 286             {
 287               if (raiseAssert)
 288               {
 289                 Assert.fail(message
 290                         + " CodonFrame-SSM-Mapping-ToSeq is not a dataset sequence");
 291               }
 292               return false;
 293             }
 294             if (alignment.findIndex(ssm.getMapping().getTo()) == -1)
 295             {
 296
 297               if (raiseAssert)
 298               {
 299                 Assert.fail(message
 300                         + " CodonFrame-SSM-Mapping-ToSeq is not contained in dataset");
 301               }
 302               return false;
 303             }
 304           }
 305         }
 306       }
 307     }
 308     return true; // all relationships verified!
 309   }
 310
 311   /**
 312    * call verifyAlignmentDatasetRefs with and without assertion raising enabled,
 313    * to check expected pass/fail actually occurs in both conditions
 314    *
 315    * @param al
 316    * @param expected
 317    * @param msg
 318    */
 319   private void assertVerifyAlignment(AlignmentI al, boolean expected,
 320           String msg)
 321   {
 322     if (expected)
 323     {
 324       try
 325       {
 326
 327         Assert.assertTrue(verifyAlignmentDatasetRefs(al, true, null),
 328                 "Valid test alignment failed when raiseAsserts enabled:"
 329                         + msg);
 330       } catch (AssertionError ae)
 331       {
 332         ae.printStackTrace();
 333         Assert.fail(
 334                 "Valid test alignment raised assertion errors when raiseAsserts enabled: "
 335                         + msg, ae);
 336       }
 337       // also check validation passes with asserts disabled
 338       Assert.assertTrue(verifyAlignmentDatasetRefs(al, false, null),
 339               "Valid test alignment tested false when raiseAsserts disabled:"
 340                       + msg);
 341     }
 342     else
 343     {
 344       boolean assertRaised = false;
 345       try
 346       {
 347         verifyAlignmentDatasetRefs(al, true, null);
 348       } catch (AssertionError ae)
 349       {
 350         // expected behaviour
 351         assertRaised = true;
 352       }
 353       if (!assertRaised)
 354       {
 355         Assert.fail("Invalid test alignment passed when raiseAsserts enabled:"
 356                 + msg);
 357       }
 358       // also check validation passes with asserts disabled
 359       Assert.assertFalse(verifyAlignmentDatasetRefs(al, false, null),
 360               "Invalid test alignment tested true when raiseAsserts disabled:"
 361                       + msg);
 362     }
 363   }
 364
 365   @Test(groups = { "Functional" })
 366   public void testVerifyAlignmentDatasetRefs()
 367   {
 368     SequenceI sq1 = new Sequence("sq1", "ASFDD"), sq2 = new Sequence("sq2",
 369             "TTTTTT");
 370
 371     // construct simple valid alignment dataset
 372     Alignment al = new Alignment(new SequenceI[] { sq1, sq2 });
 373     // expect this to pass
 374     assertVerifyAlignment(al, true, "Simple valid alignment didn't verify");
 375
 376     // check test for sequence->datasetSequence validity
 377     sq1.setDatasetSequence(sq2);
 378     assertVerifyAlignment(al, false,
 379             "didn't detect dataset sequence with a dataset sequence reference.");
 380
 381     sq1.setDatasetSequence(null);
 382     assertVerifyAlignment(
 383             al,
 384             true,
 385             "didn't reinstate validity after nulling dataset sequence dataset reference");
 386
 387     // now create dataset and check again
 388     al.createDatasetAlignment();
 389     assertNotNull(al.getDataset());
 390
 391     assertVerifyAlignment(al, true,
 392             "verify failed after createDatasetAlignment");
 393
 394     // create a dbref on sq1 with a sequence ref to sq2
 395     DBRefEntry dbrs1tos2 = new DBRefEntry("UNIPROT", "1", "Q111111");
 396     dbrs1tos2.setMap(new Mapping(sq2.getDatasetSequence(),
 397             new int[] { 1, 5 }, new int[] { 2, 6 }, 1, 1));
 398     sq1.getDatasetSequence().addDBRef(dbrs1tos2);
 399     assertVerifyAlignment(al, true,
 400             "verify failed after addition of valid DBRefEntry/map");
 401     // now create a dbref on a new sequence which maps to another sequence
 402     // outside of the dataset
 403     SequenceI sqout = new Sequence("sqout", "ututututucagcagcag"), sqnew = new Sequence(
 404             "sqnew", "EEERRR");
 405     DBRefEntry sqnewsqout = new DBRefEntry("ENAFOO", "1", "R000001");
 406     sqnewsqout.setMap(new Mapping(sqout, new int[] { 1, 6 }, new int[] { 1,
 407         18 }, 1, 3));
 408     al.getDataset().addSequence(sqnew);
 409
 410     assertVerifyAlignment(al, true,
 411             "verify failed after addition of new sequence to dataset");
 412     // now start checking exception conditions
 413     sqnew.addDBRef(sqnewsqout);
 414     assertVerifyAlignment(
 415             al,
 416             false,
 417             "verify passed when a dbref with map to sequence outside of dataset was added");
 418     // make the verify pass by adding the outsider back in
 419     al.getDataset().addSequence(sqout);
 420     assertVerifyAlignment(al, true,
 421             "verify should have passed after adding dbref->to sequence in to dataset");
 422     // and now the same for a codon mapping...
 423     SequenceI sqanotherout = new Sequence("sqanotherout",
 424             "aggtutaggcagcagcag");
 425
 426     AlignedCodonFrame alc = new AlignedCodonFrame();
 427     alc.addMap(sqanotherout, sqnew, new MapList(new int[] { 1, 6 },
 428             new int[] { 1, 18 }, 3, 1));
 429
 430     al.addCodonFrame(alc);
 431     Assert.assertEquals(al.getDataset().getCodonFrames().size(), 1);
 432
 433     assertVerifyAlignment(
 434             al,
 435             false,
 436             "verify passed when alCodonFrame mapping to sequence outside of dataset was added");
 437     // make the verify pass by adding the outsider back in
 438     al.getDataset().addSequence(sqanotherout);
 439     assertVerifyAlignment(
 440             al,
 441             true,
 442             "verify should have passed once all sequences involved in alCodonFrame were added to dataset");
 443     al.getDataset().addSequence(sqanotherout);
 444     assertVerifyAlignment(al, false,
 445             "verify should have failed when a sequence was added twice to the dataset");
 446     al.getDataset().deleteSequence(sqanotherout);
 447     assertVerifyAlignment(al, true,
 448             "verify should have passed after duplicate entry for sequence was removed");
 449   }
 450
 451   /**
 452    * checks that the sequence data for an alignment's dataset is non-redundant.
 453    * Fails if there are sequences with same id, sequence, start, and.
 454    */
 455
 456   public static void assertDatasetIsNormalised(AlignmentI al)
 457   {
 458     assertDatasetIsNormalised(al, null);
 459   }
 460
 461   /**
 462    * checks that the sequence data for an alignment's dataset is non-redundant.
 463    * Fails if there are sequences with same id, sequence, start, and.
 464    *
 465    * @param al
 466    *          - alignment to verify
 467    * @param message
 468    *          - null or message prepended to exception message.
 469    */
 470   public static void assertDatasetIsNormalised(AlignmentI al, String message)
 471   {
 472     if (al.getDataset() != null)
 473     {
 474       assertDatasetIsNormalised(al.getDataset(), message);
 475       return;
 476     }
 477     /*
 478      * look for pairs of sequences with same ID, start, end, and sequence
 479      */
 480     List<SequenceI> seqSet = al.getSequences();
 481     for (int p = 0; p < seqSet.size(); p++)
 482     {
 483       SequenceI pSeq = seqSet.get(p);
 484       for (int q = p + 1; q < seqSet.size(); q++)
 485       {
 486         SequenceI qSeq = seqSet.get(q);
 487         if (pSeq.getStart() != qSeq.getStart())
 488         {
 489           continue;
 490         }
 491         if (pSeq.getEnd() != qSeq.getEnd())
 492         {
 493           continue;
 494         }
 495         if (!pSeq.getName().equals(qSeq.getName()))
 496         {
 497           continue;
 498         }
 499         if (!Arrays.equals(pSeq.getSequence(), qSeq.getSequence()))
 500         {
 501           continue;
 502         }
 503         Assert.fail((message == null ? "" : message + " :")
 504                 + "Found similar sequences at position " + p + " and " + q
 505                 + "\n" + pSeq.toString());
 506       }
 507     }
 508   }
 509
 510   @Test(groups = { "Functional", "Asserts" })
 511   public void testAssertDatasetIsNormalised()
 512   {
 513     Sequence sq1 = new Sequence("s1/1-4", "asdf");
 514     Sequence sq1shift = new Sequence("s1/2-5", "asdf");
 515     Sequence sq1seqd = new Sequence("s1/1-4", "asdt");
 516     Sequence sq2 = new Sequence("s2/1-4", "asdf");
 517     Sequence sq1dup = new Sequence("s1/1-4", "asdf");
 518
 519     Alignment al = new Alignment(new SequenceI[] { sq1 });
 520     al.setDataset(null);
 521
 522     try
 523     {
 524       assertDatasetIsNormalised(al);
 525     } catch (AssertionError ae)
 526     {
 527       Assert.fail("Single sequence should be valid normalised dataset.");
 528     }
 529     al.addSequence(sq2);
 530     try
 531     {
 532       assertDatasetIsNormalised(al);
 533     } catch (AssertionError ae)
 534     {
 535       Assert.fail("Two different sequences should be valid normalised dataset.");
 536     }
 537     /*
 538      * now change sq2's name in the alignment. should still be valid
 539      */
 540     al.findName(sq2.getName()).setName("sq1");
 541     try
 542     {
 543       assertDatasetIsNormalised(al);
 544     } catch (AssertionError ae)
 545     {
 546       Assert.fail("Two different sequences in dataset, but same name in alignment, should be valid normalised dataset.");
 547     }
 548
 549     al.addSequence(sq1seqd);
 550     try
 551     {
 552       assertDatasetIsNormalised(al);
 553     } catch (AssertionError ae)
 554     {
 555       Assert.fail("sq1 and sq1 with different sequence should be distinct.");
 556     }
 557
 558     al.addSequence(sq1shift);
 559     try
 560     {
 561       assertDatasetIsNormalised(al);
 562     } catch (AssertionError ae)
 563     {
 564       Assert.fail("sq1 and sq1 with different start/end should be distinct.");
 565     }
 566     /*
 567      * finally, the failure case
 568      */
 569     al.addSequence(sq1dup);
 570     boolean ssertRaised = false;
 571     try
 572     {
 573       assertDatasetIsNormalised(al);
 574
 575     } catch (AssertionError ae)
 576     {
 577       ssertRaised = true;
 578     }
 579     if (!ssertRaised)
 580     {
 581       Assert.fail("Expected identical sequence to raise exception.");
 582     }
 583   }
 584
 585   /*
 586    * Read in Stockholm format test data including secondary structure
 587    * annotations.
 588    */
 589   @BeforeMethod(alwaysRun = true)
 590   public void setUp() throws IOException
 591   {
 592     al = loadAlignment(TEST_DATA, FileFormat.Stockholm);
 593     int i = 0;
 594     for (AlignmentAnnotation ann : al.getAlignmentAnnotation())
 595     {
 596       ann.setCalcId("CalcIdFor" + al.getSequenceAt(i).getName());
 597       i++;
 598     }
 599   }
 600
 601   /**
 602    * Test method that returns annotations that match on calcId.
 603    */
 604   @Test(groups = { "Functional" })
 605   public void testFindAnnotation_byCalcId()
 606   {
 607     Iterable<AlignmentAnnotation> anns = al
 608             .findAnnotation("CalcIdForD.melanogaster.2");
 609     Iterator<AlignmentAnnotation> iter = anns.iterator();
 610     assertTrue(iter.hasNext());
 611     AlignmentAnnotation ann = iter.next();
 612     assertEquals("D.melanogaster.2", ann.sequenceRef.getName());
 613     assertFalse(iter.hasNext());
 614   }
 615
 616   @Test(groups = { "Functional" })
 617   public void testDeleteAllAnnotations_includingAutocalculated()
 618   {
 619     AlignmentAnnotation aa = new AlignmentAnnotation("Consensus",
 620             "Consensus", 0.5);
 621     aa.autoCalculated = true;
 622     al.addAnnotation(aa);
 623     AlignmentAnnotation[] anns = al.getAlignmentAnnotation();
 624     assertEquals("Wrong number of annotations before deleting", 4,
 625             anns.length);
 626     al.deleteAllAnnotations(true);
 627     assertEquals("Not all deleted", 0, al.getAlignmentAnnotation().length);
 628   }
 629
 630   @Test(groups = { "Functional" })
 631   public void testDeleteAllAnnotations_excludingAutocalculated()
 632   {
 633     AlignmentAnnotation aa = new AlignmentAnnotation("Consensus",
 634             "Consensus", 0.5);
 635     aa.autoCalculated = true;
 636     al.addAnnotation(aa);
 637     AlignmentAnnotation[] anns = al.getAlignmentAnnotation();
 638     assertEquals("Wrong number of annotations before deleting", 4,
 639             anns.length);
 640     al.deleteAllAnnotations(false);
 641     assertEquals("Not just one annotation left", 1,
 642             al.getAlignmentAnnotation().length);
 643   }
 644
 645   /**
 646    * Tests for realigning as per a supplied alignment: Dna as Dna.
 647    *
 648    * Note: AlignedCodonFrame's state variables are named for protein-to-cDNA
 649    * mapping, but can be exploited for a general 'sequence-to-sequence' mapping
 650    * as here.
 651    *
 652    * @throws IOException
 653    */
 654   @Test(groups = { "Functional" })
 655   public void testAlignAs_dnaAsDna() throws IOException
 656   {
 657     // aligned cDNA:
 658     AlignmentI al1 = loadAlignment(CDNA_SEQS_1, FileFormat.Fasta);
 659     // unaligned cDNA:
 660     AlignmentI al2 = loadAlignment(CDNA_SEQS_2, FileFormat.Fasta);
 661
 662     /*
 663      * Make mappings between sequences. The 'aligned cDNA' is playing the role
 664      * of what would normally be protein here.
 665      */
 666     makeMappings(al1, al2);
 667
 668     ((Alignment) al2).alignAs(al1, false, true);
 669     assertEquals("GC-TC--GUC-GTACT", al2.getSequenceAt(0)
 670             .getSequenceAsString());
 671     assertEquals("-GG-GTC--AGG--CAGT", al2.getSequenceAt(1)
 672             .getSequenceAsString());
 673   }
 674
 675   /**
 676    * Aligning protein from cDNA.
 677    *
 678    * @throws IOException
 679    */
 680   @Test(groups = { "Functional" })
 681   public void testAlignAs_proteinAsCdna() throws IOException
 682   {
 683     // see also AlignmentUtilsTests
 684     AlignmentI al1 = loadAlignment(CDNA_SEQS_1, FileFormat.Fasta);
 685     AlignmentI al2 = loadAlignment(AA_SEQS_1, FileFormat.Fasta);
 686     makeMappings(al1, al2);
 687
 688     // Fudge - alignProteinAsCdna expects mappings to be on protein
 689     al2.getCodonFrames().addAll(al1.getCodonFrames());
 690
 691     ((Alignment) al2).alignAs(al1, false, true);
 692     assertEquals("K-Q-Y-L-", al2.getSequenceAt(0).getSequenceAsString());
 693     assertEquals("-R-F-P-W", al2.getSequenceAt(1).getSequenceAsString());
 694   }
 695
 696   /**
 697    * Test aligning cdna as per protein alignment.
 698    *
 699    * @throws IOException
 700    */
 701   @Test(groups = { "Functional" }, enabled = true)
 702   // TODO review / update this test after redesign of alignAs method
 703   public void testAlignAs_cdnaAsProtein() throws IOException
 704   {
 705     /*
 706      * Load alignments and add mappings for cDNA to protein
 707      */
 708     AlignmentI al1 = loadAlignment(CDNA_SEQS_1, FileFormat.Fasta);
 709     AlignmentI al2 = loadAlignment(AA_SEQS_1, FileFormat.Fasta);
 710     makeMappings(al1, al2);
 711
 712     /*
 713      * Realign DNA; currently keeping existing gaps in introns only
 714      */
 715     ((Alignment) al1).alignAs(al2, false, true);
 716     assertEquals("ACG---GCUCCA------ACT---", al1.getSequenceAt(0)
 717             .getSequenceAsString());
 718     assertEquals("---CGT---TAACGA---AGT---", al1.getSequenceAt(1)
 719             .getSequenceAsString());
 720   }
 721
 722   /**
 723    * Test aligning cdna as per protein - single sequences
 724    *
 725    * @throws IOException
 726    */
 727   @Test(groups = { "Functional" }, enabled = true)
 728   // TODO review / update this test after redesign of alignAs method
 729   public void testAlignAs_cdnaAsProtein_singleSequence() throws IOException
 730   {
 731     /*
 732      * simple case insert one gap
 733      */
 734     verifyAlignAs(">dna\nCAAaaa\n", ">protein\nQ-K\n", "CAA---aaa");
 735
 736     /*
 737      * simple case but with sequence offsets
 738      */
 739     verifyAlignAs(">dna/5-10\nCAAaaa\n", ">protein/20-21\nQ-K\n",
 740             "CAA---aaa");
 741
 742     /*
 743      * insert gaps as per protein, drop gaps within codons
 744      */
 745     verifyAlignAs(">dna/10-18\nCA-Aa-aa--AGA\n", ">aa/6-8\n-Q-K--R\n",
 746             "---CAA---aaa------AGA");
 747   }
 748
 749   /**
 750    * Helper method that makes mappings and then aligns the first alignment as
 751    * the second
 752    *
 753    * @param fromSeqs
 754    * @param toSeqs
 755    * @param expected
 756    * @throws IOException
 757    */
 758   public void verifyAlignAs(String fromSeqs, String toSeqs, String expected)
 759           throws IOException
 760   {
 761     /*
 762      * Load alignments and add mappings from nucleotide to protein (or from
 763      * first to second if both the same type)
 764      */
 765     AlignmentI al1 = loadAlignment(fromSeqs, FileFormat.Fasta);
 766     AlignmentI al2 = loadAlignment(toSeqs, FileFormat.Fasta);
 767     makeMappings(al1, al2);
 768
 769     /*
 770      * Realign DNA; currently keeping existing gaps in introns only
 771      */
 772     ((Alignment) al1).alignAs(al2, false, true);
 773     assertEquals(expected, al1.getSequenceAt(0).getSequenceAsString());
 774   }
 775
 776   /**
 777    * Helper method to make mappings between sequences, and add the mappings to
 778    * the 'mapped from' alignment
 779    *
 780    * @param alFrom
 781    * @param alTo
 782    */
 783   public void makeMappings(AlignmentI alFrom, AlignmentI alTo)
 784   {
 785     int ratio = (alFrom.isNucleotide() == alTo.isNucleotide() ? 1 : 3);
 786
 787     AlignedCodonFrame acf = new AlignedCodonFrame();
 788
 789     for (int i = 0; i < alFrom.getHeight(); i++)
 790     {
 791       SequenceI seqFrom = alFrom.getSequenceAt(i);
 792       SequenceI seqTo = alTo.getSequenceAt(i);
 793       MapList ml = new MapList(new int[] { seqFrom.getStart(),
 794           seqFrom.getEnd() },
 795               new int[] { seqTo.getStart(), seqTo.getEnd() }, ratio, 1);
 796       acf.addMap(seqFrom, seqTo, ml);
 797     }
 798
 799     /*
 800      * not sure whether mappings 'belong' or protein or nucleotide
 801      * alignment, so adding to both ;~)
 802      */
 803     alFrom.addCodonFrame(acf);
 804     alTo.addCodonFrame(acf);
 805   }
 806
 807   /**
 808    * Test aligning dna as per protein alignment, for the case where there are
 809    * introns (i.e. some dna sites have no mapping from a peptide).
 810    *
 811    * @throws IOException
 812    */
 813   @Test(groups = { "Functional" }, enabled = false)
 814   // TODO review / update this test after redesign of alignAs method
 815   public void testAlignAs_dnaAsProtein_withIntrons() throws IOException
 816   {
 817     /*
 818      * Load alignments and add mappings for cDNA to protein
 819      */
 820     String dna1 = "A-Aa-gG-GCC-cT-TT";
 821     String dna2 = "c--CCGgg-TT--T-AA-A";
 822     AlignmentI al1 = loadAlignment(">Dna1/6-17\n" + dna1
 823             + "\n>Dna2/20-31\n" + dna2 + "\n", FileFormat.Fasta);
 824     AlignmentI al2 = loadAlignment(
 825             ">Pep1/7-9\n-P--YK\n>Pep2/11-13\nG-T--F\n", FileFormat.Fasta);
 826     AlignedCodonFrame acf = new AlignedCodonFrame();
 827     // Seq1 has intron at dna positions 3,4,9 so splice is AAG GCC TTT
 828     // Seq2 has intron at dna positions 1,5,6 so splice is CCG TTT AAA
 829     MapList ml1 = new MapList(new int[] { 6, 7, 10, 13, 15, 17 }, new int[]
 830     { 7, 9 }, 3, 1);
 831     acf.addMap(al1.getSequenceAt(0), al2.getSequenceAt(0), ml1);
 832     MapList ml2 = new MapList(new int[] { 21, 23, 26, 31 }, new int[] { 11,
 833         13 }, 3, 1);
 834     acf.addMap(al1.getSequenceAt(1), al2.getSequenceAt(1), ml2);
 835     al2.addCodonFrame(acf);
 836
 837     /*
 838      * Align ignoring gaps in dna introns and exons
 839      */
 840     ((Alignment) al1).alignAs(al2, false, false);
 841     assertEquals("---AAagG------GCCcTTT", al1.getSequenceAt(0)
 842             .getSequenceAsString());
 843     // note 1 gap in protein corresponds to 'gg-' in DNA (3 positions)
 844     assertEquals("cCCGgg-TTT------AAA", al1.getSequenceAt(1)
 845             .getSequenceAsString());
 846
 847     /*
 848      * Reset and realign, preserving gaps in dna introns and exons
 849      */
 850     al1.getSequenceAt(0).setSequence(dna1);
 851     al1.getSequenceAt(1).setSequence(dna2);
 852     ((Alignment) al1).alignAs(al2, true, true);
 853     // String dna1 = "A-Aa-gG-GCC-cT-TT";
 854     // String dna2 = "c--CCGgg-TT--T-AA-A";
 855     // assumption: we include 'the greater of' protein/dna gap lengths, not both
 856     assertEquals("---A-Aa-gG------GCC-cT-TT", al1.getSequenceAt(0)
 857             .getSequenceAsString());
 858     assertEquals("c--CCGgg-TT--T------AA-A", al1.getSequenceAt(1)
 859             .getSequenceAsString());
 860   }
 861
 862   @Test(groups = "Functional")
 863   public void testCopyConstructor() throws IOException
 864   {
 865     AlignmentI protein = loadAlignment(AA_SEQS_1, FileFormat.Fasta);
 866     // create sequence and alignment datasets
 867     protein.setDataset(null);
 868     AlignedCodonFrame acf = new AlignedCodonFrame();
 869     List<AlignedCodonFrame> acfList = Arrays.asList(new AlignedCodonFrame[]
 870     { acf });
 871     protein.getDataset().setCodonFrames(acfList);
 872     AlignmentI copy = new Alignment(protein);
 873
 874     /*
 875      * copy has different aligned sequences but the same dataset sequences
 876      */
 877     assertFalse(copy.getSequenceAt(0) == protein.getSequenceAt(0));
 878     assertFalse(copy.getSequenceAt(1) == protein.getSequenceAt(1));
 879     assertSame(copy.getSequenceAt(0).getDatasetSequence(), protein
 880             .getSequenceAt(0).getDatasetSequence());
 881     assertSame(copy.getSequenceAt(1).getDatasetSequence(), protein
 882             .getSequenceAt(1).getDatasetSequence());
 883
 884     // TODO should the copy constructor copy the dataset?
 885     // or make a new one referring to the same dataset sequences??
 886     assertNull(copy.getDataset());
 887     // TODO test metadata is copied when AlignmentI is a dataset
 888
 889     // assertArrayEquals(copy.getDataset().getSequencesArray(), protein
 890     // .getDataset().getSequencesArray());
 891   }
 892
 893   /**
 894    * Test behaviour of createDataset
 895    *
 896    * @throws IOException
 897    */
 898   @Test(groups = "Functional")
 899   public void testCreateDatasetAlignment() throws IOException
 900   {
 901     AlignmentI protein = new FormatAdapter().readFile(AA_SEQS_1,
 902             DataSourceType.PASTE, FileFormat.Fasta);
 903     /*
 904      * create a dataset sequence on first sequence
 905      * leave the second without one
 906      */
 907     protein.getSequenceAt(0).createDatasetSequence();
 908     assertNotNull(protein.getSequenceAt(0).getDatasetSequence());
 909     assertNull(protein.getSequenceAt(1).getDatasetSequence());
 910
 911     /*
 912      * add a mapping to the alignment
 913      */
 914     AlignedCodonFrame acf = new AlignedCodonFrame();
 915     protein.addCodonFrame(acf);
 916     assertNull(protein.getDataset());
 917     assertTrue(protein.getCodonFrames().contains(acf));
 918
 919     /*
 920      * create the alignment dataset
 921      * note this creates sequence datasets where missing
 922      * as a side-effect (in this case, on seq2
 923      */
 924     // TODO promote this method to AlignmentI
 925     ((Alignment) protein).createDatasetAlignment();
 926
 927     AlignmentI ds = protein.getDataset();
 928
 929     // side-effect: dataset created on second sequence
 930     assertNotNull(protein.getSequenceAt(1).getDatasetSequence());
 931     // dataset alignment has references to dataset sequences
 932     assertEquals(ds.getSequenceAt(0), protein.getSequenceAt(0)
 933             .getDatasetSequence());
 934     assertEquals(ds.getSequenceAt(1), protein.getSequenceAt(1)
 935             .getDatasetSequence());
 936
 937     // codon frames should have been moved to the dataset
 938     // getCodonFrames() should delegate to the dataset:
 939     assertTrue(protein.getCodonFrames().contains(acf));
 940     // prove the codon frames are indeed on the dataset:
 941     assertTrue(ds.getCodonFrames().contains(acf));
 942   }
 943
 944   /**
 945    * tests the addition of *all* sequences referred to by a sequence being added
 946    * to the dataset
 947    */
 948   @Test(groups = "Functional")
 949   public void testCreateDatasetAlignmentWithMappedToSeqs()
 950   {
 951     // Alignment with two sequences, gapped.
 952     SequenceI sq1 = new Sequence("sq1", "A--SDF");
 953     SequenceI sq2 = new Sequence("sq2", "G--TRQ");
 954
 955     // cross-references to two more sequences.
 956     DBRefEntry dbr = new DBRefEntry("SQ1", "", "sq3");
 957     SequenceI sq3 = new Sequence("sq3", "VWANG");
 958     dbr.setMap(new Mapping(sq3, new MapList(new int[] { 1, 4 }, new int[] {
 959         2, 5 }, 1, 1)));
 960     sq1.addDBRef(dbr);
 961
 962     SequenceI sq4 = new Sequence("sq4", "ERKWI");
 963     DBRefEntry dbr2 = new DBRefEntry("SQ2", "", "sq4");
 964     dbr2.setMap(new Mapping(sq4, new MapList(new int[] { 1, 4 }, new int[] {
 965         2, 5 }, 1, 1)));
 966     sq2.addDBRef(dbr2);
 967     // and a 1:1 codonframe mapping between them.
 968     AlignedCodonFrame alc = new AlignedCodonFrame();
 969     alc.addMap(sq1, sq2, new MapList(new int[] { 1, 4 },
 970             new int[] { 1, 4 }, 1, 1));
 971
 972     AlignmentI protein = new Alignment(new SequenceI[] { sq1, sq2 });
 973
 974     /*
 975      * create the alignment dataset
 976      * note this creates sequence datasets where missing
 977      * as a side-effect (in this case, on seq2
 978      */
 979
 980     // TODO promote this method to AlignmentI
 981     ((Alignment) protein).createDatasetAlignment();
 982
 983     AlignmentI ds = protein.getDataset();
 984
 985     // should be 4 sequences in dataset - two materialised, and two propagated
 986     // from dbref
 987     assertEquals(4, ds.getHeight());
 988     assertTrue(ds.getSequences().contains(sq1.getDatasetSequence()));
 989     assertTrue(ds.getSequences().contains(sq2.getDatasetSequence()));
 990     assertTrue(ds.getSequences().contains(sq3));
 991     assertTrue(ds.getSequences().contains(sq4));
 992     // Should have one codon frame mapping between sq1 and sq2 via dataset
 993     // sequences
 994     assertEquals(ds.getCodonFrame(sq1.getDatasetSequence()),
 995             ds.getCodonFrame(sq2.getDatasetSequence()));
 996   }
 997
 998   @Test(groups = "Functional")
 999   public void testAddCodonFrame()
1000   {
1001     AlignmentI align = new Alignment(new SequenceI[] {});
1002     AlignedCodonFrame acf = new AlignedCodonFrame();
1003     align.addCodonFrame(acf);
1004     assertEquals(1, align.getCodonFrames().size());
1005     assertTrue(align.getCodonFrames().contains(acf));
1006     // can't add the same object twice:
1007     align.addCodonFrame(acf);
1008     assertEquals(1, align.getCodonFrames().size());
1009
1010     // create dataset alignment - mappings move to dataset
1011     ((Alignment) align).createDatasetAlignment();
1012     assertSame(align.getCodonFrames(), align.getDataset().getCodonFrames());
1013     assertEquals(1, align.getCodonFrames().size());
1014
1015     AlignedCodonFrame acf2 = new AlignedCodonFrame();
1016     align.addCodonFrame(acf2);
1017     assertTrue(align.getDataset().getCodonFrames().contains(acf));
1018   }
1019
1020   @Test(groups = "Functional")
1021   public void testAddSequencePreserveDatasetIntegrity()
1022   {
1023     Sequence seq = new Sequence("testSeq", "ABCDEFGHIJKLMNOPQRSTUVWXYZ");
1024     Alignment align = new Alignment(new SequenceI[] { seq });
1025     align.createDatasetAlignment();
1026     AlignmentI ds = align.getDataset();
1027     SequenceI copy = new Sequence(seq);
1028     copy.insertCharAt(3, 5, '-');
1029     align.addSequence(copy);
1030     Assert.assertEquals(align.getDataset().getHeight(), 1,
1031             "Dataset shouldn't have more than one sequence.");
1032
1033     Sequence seq2 = new Sequence("newtestSeq", "ABCDEFGHIJKLMNOPQRSTUVWXYZ");
1034     align.addSequence(seq2);
1035     Assert.assertEquals(align.getDataset().getHeight(), 2,
1036             "Dataset should now have two sequences.");
1037
1038     assertAlignmentDatasetRefs(align,
1039             "addSequence broke dataset reference integrity");
1040   }
1041
1042   @Test(groups = "Functional")
1043   public void getVisibleStartAndEndIndexTest()
1044   {
1045     Sequence seq = new Sequence("testSeq", "ABCDEFGHIJKLMNOPQRSTUVWXYZ");
1046     AlignmentI align = new Alignment(new SequenceI[] { seq });
1047     ArrayList<int[]> hiddenCols = new ArrayList<int[]>();
1048
1049     int[] startEnd = align.getVisibleStartAndEndIndex(hiddenCols);
1050     assertEquals(0, startEnd[0]);
1051     assertEquals(25, startEnd[1]);
1052
1053     hiddenCols.add(new int[] { 0, 0 });
1054     startEnd = align.getVisibleStartAndEndIndex(hiddenCols);
1055     assertEquals(1, startEnd[0]);
1056     assertEquals(25, startEnd[1]);
1057
1058     hiddenCols.add(new int[] { 6, 9 });
1059     hiddenCols.add(new int[] { 11, 12 });
1060     startEnd = align.getVisibleStartAndEndIndex(hiddenCols);
1061     assertEquals(1, startEnd[0]);
1062     assertEquals(25, startEnd[1]);
1063
1064     hiddenCols.add(new int[] { 24, 25 });
1065     startEnd = align.getVisibleStartAndEndIndex(hiddenCols);
1066     System.out.println(startEnd[0] + " : " + startEnd[1]);
1067     assertEquals(1, startEnd[0]);
1068     assertEquals(23, startEnd[1]);
1069   }
1070
1071   /**
1072    * Tests that dbrefs with mappings to sequence get updated if the sequence
1073    * acquires a dataset sequence
1074    */
1075   @Test(groups = "Functional")
1076   public void testCreateDataset_updateDbrefMappings()
1077   {
1078     SequenceI pep = new Sequence("pep", "ASD");
1079     SequenceI dna = new Sequence("dna", "aaaGCCTCGGATggg");
1080     SequenceI cds = new Sequence("cds", "GCCTCGGAT");
1081
1082     // add dbref from dna to peptide
1083     DBRefEntry dbr = new DBRefEntry("UNIPROT", "", "pep");
1084     dbr.setMap(new Mapping(pep, new MapList(new int[] { 4, 15 }, new int[] {
1085         1, 4 }, 3, 1)));
1086     dna.addDBRef(dbr);
1087
1088     // add dbref from dna to peptide
1089     DBRefEntry dbr2 = new DBRefEntry("UNIPROT", "", "pep");
1090     dbr2.setMap(new Mapping(pep, new MapList(new int[] { 1, 12 }, new int[]
1091     { 1, 4 }, 3, 1)));
1092     cds.addDBRef(dbr2);
1093
1094     // add dbref from peptide to dna
1095     DBRefEntry dbr3 = new DBRefEntry("EMBL", "", "dna");
1096     dbr3.setMap(new Mapping(dna, new MapList(new int[] { 1, 4 }, new int[] {
1097         4, 15 }, 1, 3)));
1098     pep.addDBRef(dbr3);
1099
1100     // add dbref from peptide to cds
1101     DBRefEntry dbr4 = new DBRefEntry("EMBLCDS", "", "cds");
1102     dbr4.setMap(new Mapping(cds, new MapList(new int[] { 1, 4 }, new int[] {
1103         1, 12 }, 1, 3)));
1104     pep.addDBRef(dbr4);
1105
1106     AlignmentI protein = new Alignment(new SequenceI[] { pep });
1107
1108     /*
1109      * create the alignment dataset
1110      */
1111     ((Alignment) protein).createDatasetAlignment();
1112
1113     AlignmentI ds = protein.getDataset();
1114
1115     // should be 3 sequences in dataset
1116     assertEquals(3, ds.getHeight());
1117     assertTrue(ds.getSequences().contains(pep.getDatasetSequence()));
1118     assertTrue(ds.getSequences().contains(dna));
1119     assertTrue(ds.getSequences().contains(cds));
1120
1121     /*
1122      * verify peptide.cdsdbref.peptidedbref is now mapped to peptide dataset
1123      */
1124     DBRefEntry[] dbRefs = pep.getDBRefs();
1125     assertEquals(2, dbRefs.length);
1126     assertSame(dna, dbRefs[0].map.to);
1127     assertSame(cds, dbRefs[1].map.to);
1128     assertEquals(1, dna.getDBRefs().length);
1129     assertSame(pep.getDatasetSequence(), dna.getDBRefs()[0].map.to);
1130     assertEquals(1, cds.getDBRefs().length);
1131     assertSame(pep.getDatasetSequence(), cds.getDBRefs()[0].map.to);
1132   }
1133
1134 }