test/jalview/datamodel/AlignmentTest.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.datamodel;
  22
  23 import static org.testng.AssertJUnit.assertEquals;
  24 import static org.testng.AssertJUnit.assertFalse;
  25 import static org.testng.AssertJUnit.assertNotNull;
  26 import static org.testng.AssertJUnit.assertNull;
  27 import static org.testng.AssertJUnit.assertSame;
  28 import static org.testng.AssertJUnit.assertTrue;
  29
  30 import jalview.datamodel.AlignedCodonFrame.SequenceToSequenceMapping;
  31 import jalview.gui.JvOptionPane;
  32 import jalview.io.DataSourceType;
  33 import jalview.io.FileFormat;
  34 import jalview.io.FileFormatI;
  35 import jalview.io.FormatAdapter;
  36 import jalview.util.MapList;
  37
  38 import java.io.IOException;
  39 import java.util.ArrayList;
  40 import java.util.Arrays;
  41 import java.util.Iterator;
  42 import java.util.List;
  43
  44 import org.testng.Assert;
  45 import org.testng.annotations.BeforeClass;
  46 import org.testng.annotations.BeforeMethod;
  47 import org.testng.annotations.Test;
  48
  49 /**
  50  * Unit tests for Alignment datamodel.
  51  *
  52  * @author gmcarstairs
  53  *
  54  */
  55 public class AlignmentTest
  56 {
  57
  58   @BeforeClass(alwaysRun = true)
  59   public void setUpJvOptionPane()
  60   {
  61     JvOptionPane.setInteractiveMode(false);
  62     JvOptionPane.setMockResponse(JvOptionPane.CANCEL_OPTION);
  63   }
  64
  65   // @formatter:off
  66   private static final String TEST_DATA =
  67           "# STOCKHOLM 1.0\n" +
  68           "#=GS D.melanogaster.1 AC AY119185.1/838-902\n" +
  69           "#=GS D.melanogaster.2 AC AC092237.1/57223-57161\n" +
  70           "#=GS D.melanogaster.3 AC AY060611.1/560-627\n" +
  71           "D.melanogaster.1          G.AGCC.CU...AUGAUCGA\n" +
  72           "#=GR D.melanogaster.1 SS  ................((((\n" +
  73           "D.melanogaster.2          C.AUUCAACU.UAUGAGGAU\n" +
  74           "#=GR D.melanogaster.2 SS  ................((((\n" +
  75           "D.melanogaster.3          G.UGGCGCU..UAUGACGCA\n" +
  76           "#=GR D.melanogaster.3 SS  (.(((...(....(((((((\n" +
  77           "//";
  78
  79   private static final String AA_SEQS_1 =
  80           ">Seq1Name/5-8\n" +
  81           "K-QY--L\n" +
  82           ">Seq2Name/12-15\n" +
  83           "-R-FP-W-\n";
  84
  85   private static final String CDNA_SEQS_1 =
  86           ">Seq1Name/100-111\n" +
  87           "AC-GG--CUC-CAA-CT\n" +
  88           ">Seq2Name/200-211\n" +
  89           "-CG-TTA--ACG---AAGT\n";
  90
  91   private static final String CDNA_SEQS_2 =
  92           ">Seq1Name/50-61\n" +
  93           "GCTCGUCGTACT\n" +
  94           ">Seq2Name/60-71\n" +
  95           "GGGTCAGGCAGT\n";
  96   // @formatter:on
  97
  98   private AlignmentI al;
  99
 100   /**
 101    * Helper method to load an alignment and ensure dataset sequences are set up.
 102    *
 103    * @param data
 104    * @param format
 105    *          TODO
 106    * @return
 107    * @throws IOException
 108    */
 109   protected AlignmentI loadAlignment(final String data, FileFormatI format)
 110           throws IOException
 111   {
 112     AlignmentI a = new FormatAdapter().readFile(data, DataSourceType.PASTE,
 113             format);
 114     a.setDataset(null);
 115     return a;
 116   }
 117
 118   /**
 119    * assert wrapper: tests all references in the given alignment are consistent
 120    *
 121    * @param alignment
 122    */
 123   public static void assertAlignmentDatasetRefs(AlignmentI alignment)
 124   {
 125     verifyAlignmentDatasetRefs(alignment, true, null);
 126   }
 127
 128   /**
 129    * assert wrapper: tests all references in the given alignment are consistent
 130    *
 131    * @param alignment
 132    * @param message
 133    *          - prefixed to any assert failed messages
 134    */
 135   public static void assertAlignmentDatasetRefs(AlignmentI alignment,
 136           String message)
 137   {
 138     verifyAlignmentDatasetRefs(alignment, true, message);
 139   }
 140
 141   /**
 142    * verify sequence and dataset references are properly contained within
 143    * dataset
 144    *
 145    * @param alignment
 146    *          - the alignmentI object to verify (either alignment or dataset)
 147    * @param raiseAssert
 148    *          - when set, testng assertions are raised.
 149    * @param message
 150    *          - null or a string message to prepend to the assert failed
 151    *          messages.
 152    * @return true if alignment references were in order, otherwise false.
 153    */
 154   public static boolean verifyAlignmentDatasetRefs(AlignmentI alignment,
 155           boolean raiseAssert, String message)
 156   {
 157     if (message == null)
 158     {
 159       message = "";
 160     }
 161     if (alignment == null)
 162     {
 163       if (raiseAssert)
 164       {
 165         Assert.fail(message + "Alignment for verification was null.");
 166       }
 167       return false;
 168     }
 169     if (alignment.getDataset() != null)
 170     {
 171       AlignmentI dataset = alignment.getDataset();
 172       // check all alignment sequences have their dataset within the dataset
 173       for (SequenceI seq : alignment.getSequences())
 174       {
 175         SequenceI seqds = seq.getDatasetSequence();
 176         if (seqds.getDatasetSequence() != null)
 177         {
 178           if (raiseAssert)
 179           {
 180             Assert.fail(message
 181                     + " Alignment contained a sequence who's dataset sequence has a second dataset reference.");
 182           }
 183           return false;
 184         }
 185         if (dataset.findIndex(seqds) == -1)
 186         {
 187           if (raiseAssert)
 188           {
 189             Assert.fail(message
 190                     + " Alignment contained a sequence who's dataset sequence was not in the dataset.");
 191           }
 192           return false;
 193         }
 194       }
 195       return verifyAlignmentDatasetRefs(alignment.getDataset(),
 196               raiseAssert, message);
 197     }
 198     else
 199     {
 200       int dsp = -1;
 201       // verify all dataset sequences
 202       for (SequenceI seqds : alignment.getSequences())
 203       {
 204         dsp++;
 205         if (seqds.getDatasetSequence() != null)
 206         {
 207           if (raiseAssert)
 208           {
 209             Assert.fail(message
 210                     + " Dataset contained a sequence with non-null dataset reference (ie not a dataset sequence!)");
 211           }
 212           return false;
 213         }
 214         int foundp = alignment.findIndex(seqds);
 215         if (foundp != dsp)
 216         {
 217           if (raiseAssert)
 218           {
 219             Assert.fail(message
 220                     + " Dataset sequence array contains a reference at "
 221                     + dsp + " to a sequence first seen at " + foundp + " ("
 222                     + seqds.toString() + ")");
 223           }
 224           return false;
 225         }
 226         if (seqds.getDBRefs() != null)
 227         {
 228           for (DBRefEntry dbr : seqds.getDBRefs())
 229           {
 230             if (dbr.getMap() != null)
 231             {
 232               SequenceI seqdbrmapto = dbr.getMap().getTo();
 233               if (seqdbrmapto != null)
 234               {
 235                 if (seqdbrmapto.getDatasetSequence() != null)
 236                 {
 237                   if (raiseAssert)
 238                   {
 239                     Assert.fail(message
 240                             + " DBRefEntry for sequence in alignment had map to sequence which was not a dataset sequence");
 241                   }
 242                   return false;
 243
 244                 }
 245                 if (alignment.findIndex(dbr.getMap().getTo()) == -1)
 246                 {
 247                   if (raiseAssert)
 248                   {
 249                     Assert.fail(message
 250                             + " DBRefEntry for sequence in alignment had map to sequence not in dataset");
 251                   }
 252                   return false;
 253                 }
 254               }
 255             }
 256           }
 257         }
 258       }
 259       // finally, verify codonmappings involve only dataset sequences.
 260       if (alignment.getCodonFrames() != null)
 261       {
 262         for (AlignedCodonFrame alc : alignment.getCodonFrames())
 263         {
 264           for (SequenceToSequenceMapping ssm : alc.getMappings())
 265           {
 266             if (ssm.getFromSeq().getDatasetSequence() != null)
 267             {
 268               if (raiseAssert)
 269               {
 270                 Assert.fail(message
 271                         + " CodonFrame-SSM-FromSeq is not a dataset sequence");
 272               }
 273               return false;
 274             }
 275             if (alignment.findIndex(ssm.getFromSeq()) == -1)
 276             {
 277
 278               if (raiseAssert)
 279               {
 280                 Assert.fail(message
 281                         + " CodonFrame-SSM-FromSeq is not contained in dataset");
 282               }
 283               return false;
 284             }
 285             if (ssm.getMapping().getTo().getDatasetSequence() != null)
 286             {
 287               if (raiseAssert)
 288               {
 289                 Assert.fail(message
 290                         + " CodonFrame-SSM-Mapping-ToSeq is not a dataset sequence");
 291               }
 292               return false;
 293             }
 294             if (alignment.findIndex(ssm.getMapping().getTo()) == -1)
 295             {
 296
 297               if (raiseAssert)
 298               {
 299                 Assert.fail(message
 300                         + " CodonFrame-SSM-Mapping-ToSeq is not contained in dataset");
 301               }
 302               return false;
 303             }
 304           }
 305         }
 306       }
 307     }
 308     return true; // all relationships verified!
 309   }
 310
 311   /**
 312    * call verifyAlignmentDatasetRefs with and without assertion raising enabled,
 313    * to check expected pass/fail actually occurs in both conditions
 314    *
 315    * @param al
 316    * @param expected
 317    * @param msg
 318    */
 319   private void assertVerifyAlignment(AlignmentI al, boolean expected,
 320           String msg)
 321   {
 322     if (expected)
 323     {
 324       try
 325       {
 326
 327         Assert.assertTrue(verifyAlignmentDatasetRefs(al, true, null),
 328                 "Valid test alignment failed when raiseAsserts enabled:"
 329                         + msg);
 330       } catch (AssertionError ae)
 331       {
 332         ae.printStackTrace();
 333         Assert.fail(
 334                 "Valid test alignment raised assertion errors when raiseAsserts enabled: "
 335                         + msg, ae);
 336       }
 337       // also check validation passes with asserts disabled
 338       Assert.assertTrue(verifyAlignmentDatasetRefs(al, false, null),
 339               "Valid test alignment tested false when raiseAsserts disabled:"
 340                       + msg);
 341     }
 342     else
 343     {
 344       boolean assertRaised = false;
 345       try
 346       {
 347         verifyAlignmentDatasetRefs(al, true, null);
 348       } catch (AssertionError ae)
 349       {
 350         // expected behaviour
 351         assertRaised = true;
 352       }
 353       if (!assertRaised)
 354       {
 355         Assert.fail("Invalid test alignment passed when raiseAsserts enabled:"
 356                 + msg);
 357       }
 358       // also check validation passes with asserts disabled
 359       Assert.assertFalse(verifyAlignmentDatasetRefs(al, false, null),
 360               "Invalid test alignment tested true when raiseAsserts disabled:"
 361                       + msg);
 362     }
 363   }
 364
 365   @Test(groups = { "Functional" })
 366   public void testVerifyAlignmentDatasetRefs()
 367   {
 368     SequenceI sq1 = new Sequence("sq1", "ASFDD"), sq2 = new Sequence("sq2",
 369             "TTTTTT");
 370
 371     // construct simple valid alignment dataset
 372     Alignment al = new Alignment(new SequenceI[] { sq1, sq2 });
 373     // expect this to pass
 374     assertVerifyAlignment(al, true, "Simple valid alignment didn't verify");
 375
 376     // check test for sequence->datasetSequence validity
 377     sq1.setDatasetSequence(sq2);
 378     assertVerifyAlignment(al, false,
 379             "didn't detect dataset sequence with a dataset sequence reference.");
 380
 381     sq1.setDatasetSequence(null);
 382     assertVerifyAlignment(
 383             al,
 384             true,
 385             "didn't reinstate validity after nulling dataset sequence dataset reference");
 386
 387     // now create dataset and check again
 388     al.createDatasetAlignment();
 389     assertNotNull(al.getDataset());
 390
 391     assertVerifyAlignment(al, true,
 392             "verify failed after createDatasetAlignment");
 393
 394     // create a dbref on sq1 with a sequence ref to sq2
 395     DBRefEntry dbrs1tos2 = new DBRefEntry("UNIPROT", "1", "Q111111");
 396     dbrs1tos2.setMap(new Mapping(sq2.getDatasetSequence(),
 397             new int[] { 1, 5 }, new int[] { 2, 6 }, 1, 1));
 398     sq1.getDatasetSequence().addDBRef(dbrs1tos2);
 399     assertVerifyAlignment(al, true,
 400             "verify failed after addition of valid DBRefEntry/map");
 401     // now create a dbref on a new sequence which maps to another sequence
 402     // outside of the dataset
 403     SequenceI sqout = new Sequence("sqout", "ututututucagcagcag"), sqnew = new Sequence(
 404             "sqnew", "EEERRR");
 405     DBRefEntry sqnewsqout = new DBRefEntry("ENAFOO", "1", "R000001");
 406     sqnewsqout.setMap(new Mapping(sqout, new int[] { 1, 6 }, new int[] { 1,
 407         18 }, 1, 3));
 408     al.getDataset().addSequence(sqnew);
 409
 410     assertVerifyAlignment(al, true,
 411             "verify failed after addition of new sequence to dataset");
 412     // now start checking exception conditions
 413     sqnew.addDBRef(sqnewsqout);
 414     assertVerifyAlignment(
 415             al,
 416             false,
 417             "verify passed when a dbref with map to sequence outside of dataset was added");
 418     // make the verify pass by adding the outsider back in
 419     al.getDataset().addSequence(sqout);
 420     assertVerifyAlignment(al, true,
 421             "verify should have passed after adding dbref->to sequence in to dataset");
 422     // and now the same for a codon mapping...
 423     SequenceI sqanotherout = new Sequence("sqanotherout",
 424             "aggtutaggcagcagcag");
 425
 426     AlignedCodonFrame alc = new AlignedCodonFrame();
 427     alc.addMap(sqanotherout, sqnew, new MapList(new int[] { 1, 6 },
 428             new int[] { 1, 18 }, 3, 1));
 429
 430     al.addCodonFrame(alc);
 431     Assert.assertEquals(al.getDataset().getCodonFrames().size(), 1);
 432
 433     assertVerifyAlignment(
 434             al,
 435             false,
 436             "verify passed when alCodonFrame mapping to sequence outside of dataset was added");
 437     // make the verify pass by adding the outsider back in
 438     al.getDataset().addSequence(sqanotherout);
 439     assertVerifyAlignment(
 440             al,
 441             true,
 442             "verify should have passed once all sequences involved in alCodonFrame were added to dataset");
 443     al.getDataset().addSequence(sqanotherout);
 444     assertVerifyAlignment(al, false,
 445             "verify should have failed when a sequence was added twice to the dataset");
 446     al.getDataset().deleteSequence(sqanotherout);
 447     assertVerifyAlignment(al, true,
 448             "verify should have passed after duplicate entry for sequence was removed");
 449   }
 450
 451   /**
 452    * checks that the sequence data for an alignment's dataset is non-redundant.
 453    * Fails if there are sequences with same id, sequence, start, and.
 454    */
 455
 456   public static void assertDatasetIsNormalised(AlignmentI al)
 457   {
 458     assertDatasetIsNormalised(al, null);
 459   }
 460
 461   /**
 462    * checks that the sequence data for an alignment's dataset is non-redundant.
 463    * Fails if there are sequences with same id, sequence, start, and.
 464    *
 465    * @param al
 466    *          - alignment to verify
 467    * @param message
 468    *          - null or message prepended to exception message.
 469    */
 470   public static void assertDatasetIsNormalised(AlignmentI al, String message)
 471   {
 472     if (al.getDataset() != null)
 473     {
 474       assertDatasetIsNormalised(al.getDataset(), message);
 475       return;
 476     }
 477     /*
 478      * look for pairs of sequences with same ID, start, end, and sequence
 479      */
 480     List<SequenceI> seqSet = al.getSequences();
 481     for (int p = 0; p < seqSet.size(); p++)
 482     {
 483       SequenceI pSeq = seqSet.get(p);
 484       for (int q = p + 1; q < seqSet.size(); q++)
 485       {
 486         SequenceI qSeq = seqSet.get(q);
 487         if (pSeq.getStart() != qSeq.getStart())
 488         {
 489           continue;
 490         }
 491         if (pSeq.getEnd() != qSeq.getEnd())
 492         {
 493           continue;
 494         }
 495         if (!pSeq.getName().equals(qSeq.getName()))
 496         {
 497           continue;
 498         }
 499         if (!Arrays.equals(pSeq.getSequence(), qSeq.getSequence()))
 500         {
 501           continue;
 502         }
 503         Assert.fail((message == null ? "" : message + " :")
 504                 + "Found similar sequences at position " + p + " and " + q
 505                 + "\n" + pSeq.toString());
 506       }
 507     }
 508   }
 509
 510   @Test(groups = { "Functional", "Asserts" })
 511   public void testAssertDatasetIsNormalised()
 512   {
 513     Sequence sq1 = new Sequence("s1/1-4", "asdf");
 514     Sequence sq1shift = new Sequence("s1/2-5", "asdf");
 515     Sequence sq1seqd = new Sequence("s1/1-4", "asdt");
 516     Sequence sq2 = new Sequence("s2/1-4", "asdf");
 517     Sequence sq1dup = new Sequence("s1/1-4", "asdf");
 518
 519     Alignment al = new Alignment(new SequenceI[] { sq1 });
 520     al.setDataset(null);
 521
 522     try
 523     {
 524       assertDatasetIsNormalised(al);
 525     } catch (AssertionError ae)
 526     {
 527       Assert.fail("Single sequence should be valid normalised dataset.");
 528     }
 529     al.addSequence(sq2);
 530     try
 531     {
 532       assertDatasetIsNormalised(al);
 533     } catch (AssertionError ae)
 534     {
 535       Assert.fail("Two different sequences should be valid normalised dataset.");
 536     }
 537     /*
 538      * now change sq2's name in the alignment. should still be valid
 539      */
 540     al.findName(sq2.getName()).setName("sq1");
 541     try
 542     {
 543       assertDatasetIsNormalised(al);
 544     } catch (AssertionError ae)
 545     {
 546       Assert.fail("Two different sequences in dataset, but same name in alignment, should be valid normalised dataset.");
 547     }
 548
 549     al.addSequence(sq1seqd);
 550     try
 551     {
 552       assertDatasetIsNormalised(al);
 553     } catch (AssertionError ae)
 554     {
 555       Assert.fail("sq1 and sq1 with different sequence should be distinct.");
 556     }
 557
 558     al.addSequence(sq1shift);
 559     try
 560     {
 561       assertDatasetIsNormalised(al);
 562     } catch (AssertionError ae)
 563     {
 564       Assert.fail("sq1 and sq1 with different start/end should be distinct.");
 565     }
 566     /*
 567      * finally, the failure case
 568      */
 569     al.addSequence(sq1dup);
 570     boolean ssertRaised = false;
 571     try
 572     {
 573       assertDatasetIsNormalised(al);
 574
 575     } catch (AssertionError ae)
 576     {
 577       ssertRaised = true;
 578     }
 579     if (!ssertRaised)
 580     {
 581       Assert.fail("Expected identical sequence to raise exception.");
 582     }
 583   }
 584
 585   /*
 586    * Read in Stockholm format test data including secondary structure
 587    * annotations.
 588    */
 589   @BeforeMethod(alwaysRun = true)
 590   public void setUp() throws IOException
 591   {
 592     al = loadAlignment(TEST_DATA, FileFormat.Stockholm);
 593     int i = 0;
 594     for (AlignmentAnnotation ann : al.getAlignmentAnnotation())
 595     {
 596       ann.setCalcId("CalcIdFor" + al.getSequenceAt(i).getName());
 597       i++;
 598     }
 599   }
 600
 601   /**
 602    * Test method that returns annotations that match on calcId.
 603    */
 604   @Test(groups = { "Functional" })
 605   public void testFindAnnotation_byCalcId()
 606   {
 607     Iterable<AlignmentAnnotation> anns = al
 608             .findAnnotation("CalcIdForD.melanogaster.2");
 609     Iterator<AlignmentAnnotation> iter = anns.iterator();
 610     assertTrue(iter.hasNext());
 611     AlignmentAnnotation ann = iter.next();
 612     assertEquals("D.melanogaster.2", ann.sequenceRef.getName());
 613     assertFalse(iter.hasNext());
 614
 615     // invalid id
 616     anns = al.findAnnotation("CalcIdForD.melanogaster.?");
 617     assertFalse(iter.hasNext());
 618     anns = al.findAnnotation(null);
 619     assertFalse(iter.hasNext());
 620   }
 621
 622   @Test(groups = { "Functional" })
 623   public void testDeleteAllAnnotations_includingAutocalculated()
 624   {
 625     AlignmentAnnotation aa = new AlignmentAnnotation("Consensus",
 626             "Consensus", 0.5);
 627     aa.autoCalculated = true;
 628     al.addAnnotation(aa);
 629     AlignmentAnnotation[] anns = al.getAlignmentAnnotation();
 630     assertEquals("Wrong number of annotations before deleting", 4,
 631             anns.length);
 632     al.deleteAllAnnotations(true);
 633     assertEquals("Not all deleted", 0, al.getAlignmentAnnotation().length);
 634   }
 635
 636   @Test(groups = { "Functional" })
 637   public void testDeleteAllAnnotations_excludingAutocalculated()
 638   {
 639     AlignmentAnnotation aa = new AlignmentAnnotation("Consensus",
 640             "Consensus", 0.5);
 641     aa.autoCalculated = true;
 642     al.addAnnotation(aa);
 643     AlignmentAnnotation[] anns = al.getAlignmentAnnotation();
 644     assertEquals("Wrong number of annotations before deleting", 4,
 645             anns.length);
 646     al.deleteAllAnnotations(false);
 647     assertEquals("Not just one annotation left", 1,
 648             al.getAlignmentAnnotation().length);
 649   }
 650
 651   /**
 652    * Tests for realigning as per a supplied alignment: Dna as Dna.
 653    *
 654    * Note: AlignedCodonFrame's state variables are named for protein-to-cDNA
 655    * mapping, but can be exploited for a general 'sequence-to-sequence' mapping
 656    * as here.
 657    *
 658    * @throws IOException
 659    */
 660   @Test(groups = { "Functional" })
 661   public void testAlignAs_dnaAsDna() throws IOException
 662   {
 663     // aligned cDNA:
 664     AlignmentI al1 = loadAlignment(CDNA_SEQS_1, FileFormat.Fasta);
 665     // unaligned cDNA:
 666     AlignmentI al2 = loadAlignment(CDNA_SEQS_2, FileFormat.Fasta);
 667
 668     /*
 669      * Make mappings between sequences. The 'aligned cDNA' is playing the role
 670      * of what would normally be protein here.
 671      */
 672     makeMappings(al1, al2);
 673
 674     ((Alignment) al2).alignAs(al1, false, true);
 675     assertEquals("GC-TC--GUC-GTACT", al2.getSequenceAt(0)
 676             .getSequenceAsString());
 677     assertEquals("-GG-GTC--AGG--CAGT", al2.getSequenceAt(1)
 678             .getSequenceAsString());
 679   }
 680
 681   /**
 682    * Aligning protein from cDNA.
 683    *
 684    * @throws IOException
 685    */
 686   @Test(groups = { "Functional" })
 687   public void testAlignAs_proteinAsCdna() throws IOException
 688   {
 689     // see also AlignmentUtilsTests
 690     AlignmentI al1 = loadAlignment(CDNA_SEQS_1, FileFormat.Fasta);
 691     AlignmentI al2 = loadAlignment(AA_SEQS_1, FileFormat.Fasta);
 692     makeMappings(al1, al2);
 693
 694     // Fudge - alignProteinAsCdna expects mappings to be on protein
 695     al2.getCodonFrames().addAll(al1.getCodonFrames());
 696
 697     ((Alignment) al2).alignAs(al1, false, true);
 698     assertEquals("K-Q-Y-L-", al2.getSequenceAt(0).getSequenceAsString());
 699     assertEquals("-R-F-P-W", al2.getSequenceAt(1).getSequenceAsString());
 700   }
 701
 702   /**
 703    * Test aligning cdna as per protein alignment.
 704    *
 705    * @throws IOException
 706    */
 707   @Test(groups = { "Functional" }, enabled = true)
 708   // TODO review / update this test after redesign of alignAs method
 709   public void testAlignAs_cdnaAsProtein() throws IOException
 710   {
 711     /*
 712      * Load alignments and add mappings for cDNA to protein
 713      */
 714     AlignmentI al1 = loadAlignment(CDNA_SEQS_1, FileFormat.Fasta);
 715     AlignmentI al2 = loadAlignment(AA_SEQS_1, FileFormat.Fasta);
 716     makeMappings(al1, al2);
 717
 718     /*
 719      * Realign DNA; currently keeping existing gaps in introns only
 720      */
 721     ((Alignment) al1).alignAs(al2, false, true);
 722     assertEquals("ACG---GCUCCA------ACT---", al1.getSequenceAt(0)
 723             .getSequenceAsString());
 724     assertEquals("---CGT---TAACGA---AGT---", al1.getSequenceAt(1)
 725             .getSequenceAsString());
 726   }
 727
 728   /**
 729    * Test aligning cdna as per protein - single sequences
 730    *
 731    * @throws IOException
 732    */
 733   @Test(groups = { "Functional" }, enabled = true)
 734   // TODO review / update this test after redesign of alignAs method
 735   public void testAlignAs_cdnaAsProtein_singleSequence() throws IOException
 736   {
 737     /*
 738      * simple case insert one gap
 739      */
 740     verifyAlignAs(">dna\nCAAaaa\n", ">protein\nQ-K\n", "CAA---aaa");
 741
 742     /*
 743      * simple case but with sequence offsets
 744      */
 745     verifyAlignAs(">dna/5-10\nCAAaaa\n", ">protein/20-21\nQ-K\n",
 746             "CAA---aaa");
 747
 748     /*
 749      * insert gaps as per protein, drop gaps within codons
 750      */
 751     verifyAlignAs(">dna/10-18\nCA-Aa-aa--AGA\n", ">aa/6-8\n-Q-K--R\n",
 752             "---CAA---aaa------AGA");
 753   }
 754
 755   /**
 756    * Helper method that makes mappings and then aligns the first alignment as
 757    * the second
 758    *
 759    * @param fromSeqs
 760    * @param toSeqs
 761    * @param expected
 762    * @throws IOException
 763    */
 764   public void verifyAlignAs(String fromSeqs, String toSeqs, String expected)
 765           throws IOException
 766   {
 767     /*
 768      * Load alignments and add mappings from nucleotide to protein (or from
 769      * first to second if both the same type)
 770      */
 771     AlignmentI al1 = loadAlignment(fromSeqs, FileFormat.Fasta);
 772     AlignmentI al2 = loadAlignment(toSeqs, FileFormat.Fasta);
 773     makeMappings(al1, al2);
 774
 775     /*
 776      * Realign DNA; currently keeping existing gaps in introns only
 777      */
 778     ((Alignment) al1).alignAs(al2, false, true);
 779     assertEquals(expected, al1.getSequenceAt(0).getSequenceAsString());
 780   }
 781
 782   /**
 783    * Helper method to make mappings between sequences, and add the mappings to
 784    * the 'mapped from' alignment
 785    *
 786    * @param alFrom
 787    * @param alTo
 788    */
 789   public void makeMappings(AlignmentI alFrom, AlignmentI alTo)
 790   {
 791     int ratio = (alFrom.isNucleotide() == alTo.isNucleotide() ? 1 : 3);
 792
 793     AlignedCodonFrame acf = new AlignedCodonFrame();
 794
 795     for (int i = 0; i < alFrom.getHeight(); i++)
 796     {
 797       SequenceI seqFrom = alFrom.getSequenceAt(i);
 798       SequenceI seqTo = alTo.getSequenceAt(i);
 799       MapList ml = new MapList(new int[] { seqFrom.getStart(),
 800           seqFrom.getEnd() },
 801               new int[] { seqTo.getStart(), seqTo.getEnd() }, ratio, 1);
 802       acf.addMap(seqFrom, seqTo, ml);
 803     }
 804
 805     /*
 806      * not sure whether mappings 'belong' or protein or nucleotide
 807      * alignment, so adding to both ;~)
 808      */
 809     alFrom.addCodonFrame(acf);
 810     alTo.addCodonFrame(acf);
 811   }
 812
 813   /**
 814    * Test aligning dna as per protein alignment, for the case where there are
 815    * introns (i.e. some dna sites have no mapping from a peptide).
 816    *
 817    * @throws IOException
 818    */
 819   @Test(groups = { "Functional" }, enabled = false)
 820   // TODO review / update this test after redesign of alignAs method
 821   public void testAlignAs_dnaAsProtein_withIntrons() throws IOException
 822   {
 823     /*
 824      * Load alignments and add mappings for cDNA to protein
 825      */
 826     String dna1 = "A-Aa-gG-GCC-cT-TT";
 827     String dna2 = "c--CCGgg-TT--T-AA-A";
 828     AlignmentI al1 = loadAlignment(">Dna1/6-17\n" + dna1
 829             + "\n>Dna2/20-31\n" + dna2 + "\n", FileFormat.Fasta);
 830     AlignmentI al2 = loadAlignment(
 831             ">Pep1/7-9\n-P--YK\n>Pep2/11-13\nG-T--F\n", FileFormat.Fasta);
 832     AlignedCodonFrame acf = new AlignedCodonFrame();
 833     // Seq1 has intron at dna positions 3,4,9 so splice is AAG GCC TTT
 834     // Seq2 has intron at dna positions 1,5,6 so splice is CCG TTT AAA
 835     MapList ml1 = new MapList(new int[] { 6, 7, 10, 13, 15, 17 }, new int[]
 836     { 7, 9 }, 3, 1);
 837     acf.addMap(al1.getSequenceAt(0), al2.getSequenceAt(0), ml1);
 838     MapList ml2 = new MapList(new int[] { 21, 23, 26, 31 }, new int[] { 11,
 839         13 }, 3, 1);
 840     acf.addMap(al1.getSequenceAt(1), al2.getSequenceAt(1), ml2);
 841     al2.addCodonFrame(acf);
 842
 843     /*
 844      * Align ignoring gaps in dna introns and exons
 845      */
 846     ((Alignment) al1).alignAs(al2, false, false);
 847     assertEquals("---AAagG------GCCcTTT", al1.getSequenceAt(0)
 848             .getSequenceAsString());
 849     // note 1 gap in protein corresponds to 'gg-' in DNA (3 positions)
 850     assertEquals("cCCGgg-TTT------AAA", al1.getSequenceAt(1)
 851             .getSequenceAsString());
 852
 853     /*
 854      * Reset and realign, preserving gaps in dna introns and exons
 855      */
 856     al1.getSequenceAt(0).setSequence(dna1);
 857     al1.getSequenceAt(1).setSequence(dna2);
 858     ((Alignment) al1).alignAs(al2, true, true);
 859     // String dna1 = "A-Aa-gG-GCC-cT-TT";
 860     // String dna2 = "c--CCGgg-TT--T-AA-A";
 861     // assumption: we include 'the greater of' protein/dna gap lengths, not both
 862     assertEquals("---A-Aa-gG------GCC-cT-TT", al1.getSequenceAt(0)
 863             .getSequenceAsString());
 864     assertEquals("c--CCGgg-TT--T------AA-A", al1.getSequenceAt(1)
 865             .getSequenceAsString());
 866   }
 867
 868   @Test(groups = "Functional")
 869   public void testCopyConstructor() throws IOException
 870   {
 871     AlignmentI protein = loadAlignment(AA_SEQS_1, FileFormat.Fasta);
 872     // create sequence and alignment datasets
 873     protein.setDataset(null);
 874     AlignedCodonFrame acf = new AlignedCodonFrame();
 875     List<AlignedCodonFrame> acfList = Arrays.asList(new AlignedCodonFrame[]
 876     { acf });
 877     protein.getDataset().setCodonFrames(acfList);
 878     AlignmentI copy = new Alignment(protein);
 879
 880     /*
 881      * copy has different aligned sequences but the same dataset sequences
 882      */
 883     assertFalse(copy.getSequenceAt(0) == protein.getSequenceAt(0));
 884     assertFalse(copy.getSequenceAt(1) == protein.getSequenceAt(1));
 885     assertSame(copy.getSequenceAt(0).getDatasetSequence(), protein
 886             .getSequenceAt(0).getDatasetSequence());
 887     assertSame(copy.getSequenceAt(1).getDatasetSequence(), protein
 888             .getSequenceAt(1).getDatasetSequence());
 889
 890     // TODO should the copy constructor copy the dataset?
 891     // or make a new one referring to the same dataset sequences??
 892     assertNull(copy.getDataset());
 893     // TODO test metadata is copied when AlignmentI is a dataset
 894
 895     // assertArrayEquals(copy.getDataset().getSequencesArray(), protein
 896     // .getDataset().getSequencesArray());
 897   }
 898
 899   /**
 900    * Test behaviour of createDataset
 901    *
 902    * @throws IOException
 903    */
 904   @Test(groups = "Functional")
 905   public void testCreateDatasetAlignment() throws IOException
 906   {
 907     AlignmentI protein = new FormatAdapter().readFile(AA_SEQS_1,
 908             DataSourceType.PASTE, FileFormat.Fasta);
 909     /*
 910      * create a dataset sequence on first sequence
 911      * leave the second without one
 912      */
 913     protein.getSequenceAt(0).createDatasetSequence();
 914     assertNotNull(protein.getSequenceAt(0).getDatasetSequence());
 915     assertNull(protein.getSequenceAt(1).getDatasetSequence());
 916
 917     /*
 918      * add a mapping to the alignment
 919      */
 920     AlignedCodonFrame acf = new AlignedCodonFrame();
 921     protein.addCodonFrame(acf);
 922     assertNull(protein.getDataset());
 923     assertTrue(protein.getCodonFrames().contains(acf));
 924
 925     /*
 926      * create the alignment dataset
 927      * note this creates sequence datasets where missing
 928      * as a side-effect (in this case, on seq2
 929      */
 930     // TODO promote this method to AlignmentI
 931     ((Alignment) protein).createDatasetAlignment();
 932
 933     AlignmentI ds = protein.getDataset();
 934
 935     // side-effect: dataset created on second sequence
 936     assertNotNull(protein.getSequenceAt(1).getDatasetSequence());
 937     // dataset alignment has references to dataset sequences
 938     assertEquals(ds.getSequenceAt(0), protein.getSequenceAt(0)
 939             .getDatasetSequence());
 940     assertEquals(ds.getSequenceAt(1), protein.getSequenceAt(1)
 941             .getDatasetSequence());
 942
 943     // codon frames should have been moved to the dataset
 944     // getCodonFrames() should delegate to the dataset:
 945     assertTrue(protein.getCodonFrames().contains(acf));
 946     // prove the codon frames are indeed on the dataset:
 947     assertTrue(ds.getCodonFrames().contains(acf));
 948   }
 949
 950   /**
 951    * tests the addition of *all* sequences referred to by a sequence being added
 952    * to the dataset
 953    */
 954   @Test(groups = "Functional")
 955   public void testCreateDatasetAlignmentWithMappedToSeqs()
 956   {
 957     // Alignment with two sequences, gapped.
 958     SequenceI sq1 = new Sequence("sq1", "A--SDF");
 959     SequenceI sq2 = new Sequence("sq2", "G--TRQ");
 960
 961     // cross-references to two more sequences.
 962     DBRefEntry dbr = new DBRefEntry("SQ1", "", "sq3");
 963     SequenceI sq3 = new Sequence("sq3", "VWANG");
 964     dbr.setMap(new Mapping(sq3, new MapList(new int[] { 1, 4 }, new int[] {
 965         2, 5 }, 1, 1)));
 966     sq1.addDBRef(dbr);
 967
 968     SequenceI sq4 = new Sequence("sq4", "ERKWI");
 969     DBRefEntry dbr2 = new DBRefEntry("SQ2", "", "sq4");
 970     dbr2.setMap(new Mapping(sq4, new MapList(new int[] { 1, 4 }, new int[] {
 971         2, 5 }, 1, 1)));
 972     sq2.addDBRef(dbr2);
 973     // and a 1:1 codonframe mapping between them.
 974     AlignedCodonFrame alc = new AlignedCodonFrame();
 975     alc.addMap(sq1, sq2, new MapList(new int[] { 1, 4 },
 976             new int[] { 1, 4 }, 1, 1));
 977
 978     AlignmentI protein = new Alignment(new SequenceI[] { sq1, sq2 });
 979
 980     /*
 981      * create the alignment dataset
 982      * note this creates sequence datasets where missing
 983      * as a side-effect (in this case, on seq2
 984      */
 985
 986     // TODO promote this method to AlignmentI
 987     ((Alignment) protein).createDatasetAlignment();
 988
 989     AlignmentI ds = protein.getDataset();
 990
 991     // should be 4 sequences in dataset - two materialised, and two propagated
 992     // from dbref
 993     assertEquals(4, ds.getHeight());
 994     assertTrue(ds.getSequences().contains(sq1.getDatasetSequence()));
 995     assertTrue(ds.getSequences().contains(sq2.getDatasetSequence()));
 996     assertTrue(ds.getSequences().contains(sq3));
 997     assertTrue(ds.getSequences().contains(sq4));
 998     // Should have one codon frame mapping between sq1 and sq2 via dataset
 999     // sequences
1000     assertEquals(ds.getCodonFrame(sq1.getDatasetSequence()),
1001             ds.getCodonFrame(sq2.getDatasetSequence()));
1002   }
1003
1004   @Test(groups = "Functional")
1005   public void testAddCodonFrame()
1006   {
1007     AlignmentI align = new Alignment(new SequenceI[] {});
1008     AlignedCodonFrame acf = new AlignedCodonFrame();
1009     align.addCodonFrame(acf);
1010     assertEquals(1, align.getCodonFrames().size());
1011     assertTrue(align.getCodonFrames().contains(acf));
1012     // can't add the same object twice:
1013     align.addCodonFrame(acf);
1014     assertEquals(1, align.getCodonFrames().size());
1015
1016     // create dataset alignment - mappings move to dataset
1017     ((Alignment) align).createDatasetAlignment();
1018     assertSame(align.getCodonFrames(), align.getDataset().getCodonFrames());
1019     assertEquals(1, align.getCodonFrames().size());
1020
1021     AlignedCodonFrame acf2 = new AlignedCodonFrame();
1022     align.addCodonFrame(acf2);
1023     assertTrue(align.getDataset().getCodonFrames().contains(acf));
1024   }
1025
1026   @Test(groups = "Functional")
1027   public void testAddSequencePreserveDatasetIntegrity()
1028   {
1029     Sequence seq = new Sequence("testSeq", "ABCDEFGHIJKLMNOPQRSTUVWXYZ");
1030     Alignment align = new Alignment(new SequenceI[] { seq });
1031     align.createDatasetAlignment();
1032     AlignmentI ds = align.getDataset();
1033     SequenceI copy = new Sequence(seq);
1034     copy.insertCharAt(3, 5, '-');
1035     align.addSequence(copy);
1036     Assert.assertEquals(align.getDataset().getHeight(), 1,
1037             "Dataset shouldn't have more than one sequence.");
1038
1039     Sequence seq2 = new Sequence("newtestSeq", "ABCDEFGHIJKLMNOPQRSTUVWXYZ");
1040     align.addSequence(seq2);
1041     Assert.assertEquals(align.getDataset().getHeight(), 2,
1042             "Dataset should now have two sequences.");
1043
1044     assertAlignmentDatasetRefs(align,
1045             "addSequence broke dataset reference integrity");
1046   }
1047
1048   @Test(groups = "Functional")
1049   public void getVisibleStartAndEndIndexTest()
1050   {
1051     Sequence seq = new Sequence("testSeq", "ABCDEFGHIJKLMNOPQRSTUVWXYZ");
1052     AlignmentI align = new Alignment(new SequenceI[] { seq });
1053     ArrayList<int[]> hiddenCols = new ArrayList<int[]>();
1054
1055     int[] startEnd = align.getVisibleStartAndEndIndex(hiddenCols);
1056     assertEquals(0, startEnd[0]);
1057     assertEquals(25, startEnd[1]);
1058
1059     hiddenCols.add(new int[] { 0, 0 });
1060     startEnd = align.getVisibleStartAndEndIndex(hiddenCols);
1061     assertEquals(1, startEnd[0]);
1062     assertEquals(25, startEnd[1]);
1063
1064     hiddenCols.add(new int[] { 6, 9 });
1065     hiddenCols.add(new int[] { 11, 12 });
1066     startEnd = align.getVisibleStartAndEndIndex(hiddenCols);
1067     assertEquals(1, startEnd[0]);
1068     assertEquals(25, startEnd[1]);
1069
1070     hiddenCols.add(new int[] { 24, 25 });
1071     startEnd = align.getVisibleStartAndEndIndex(hiddenCols);
1072     System.out.println(startEnd[0] + " : " + startEnd[1]);
1073     assertEquals(1, startEnd[0]);
1074     assertEquals(23, startEnd[1]);
1075   }
1076
1077   /**
1078    * Tests that dbrefs with mappings to sequence get updated if the sequence
1079    * acquires a dataset sequence
1080    */
1081   @Test(groups = "Functional")
1082   public void testCreateDataset_updateDbrefMappings()
1083   {
1084     SequenceI pep = new Sequence("pep", "ASD");
1085     SequenceI dna = new Sequence("dna", "aaaGCCTCGGATggg");
1086     SequenceI cds = new Sequence("cds", "GCCTCGGAT");
1087
1088     // add dbref from dna to peptide
1089     DBRefEntry dbr = new DBRefEntry("UNIPROT", "", "pep");
1090     dbr.setMap(new Mapping(pep, new MapList(new int[] { 4, 15 }, new int[] {
1091         1, 4 }, 3, 1)));
1092     dna.addDBRef(dbr);
1093
1094     // add dbref from dna to peptide
1095     DBRefEntry dbr2 = new DBRefEntry("UNIPROT", "", "pep");
1096     dbr2.setMap(new Mapping(pep, new MapList(new int[] { 1, 12 }, new int[]
1097     { 1, 4 }, 3, 1)));
1098     cds.addDBRef(dbr2);
1099
1100     // add dbref from peptide to dna
1101     DBRefEntry dbr3 = new DBRefEntry("EMBL", "", "dna");
1102     dbr3.setMap(new Mapping(dna, new MapList(new int[] { 1, 4 }, new int[] {
1103         4, 15 }, 1, 3)));
1104     pep.addDBRef(dbr3);
1105
1106     // add dbref from peptide to cds
1107     DBRefEntry dbr4 = new DBRefEntry("EMBLCDS", "", "cds");
1108     dbr4.setMap(new Mapping(cds, new MapList(new int[] { 1, 4 }, new int[] {
1109         1, 12 }, 1, 3)));
1110     pep.addDBRef(dbr4);
1111
1112     AlignmentI protein = new Alignment(new SequenceI[] { pep });
1113
1114     /*
1115      * create the alignment dataset
1116      */
1117     ((Alignment) protein).createDatasetAlignment();
1118
1119     AlignmentI ds = protein.getDataset();
1120
1121     // should be 3 sequences in dataset
1122     assertEquals(3, ds.getHeight());
1123     assertTrue(ds.getSequences().contains(pep.getDatasetSequence()));
1124     assertTrue(ds.getSequences().contains(dna));
1125     assertTrue(ds.getSequences().contains(cds));
1126
1127     /*
1128      * verify peptide.cdsdbref.peptidedbref is now mapped to peptide dataset
1129      */
1130     DBRefEntry[] dbRefs = pep.getDBRefs();
1131     assertEquals(2, dbRefs.length);
1132     assertSame(dna, dbRefs[0].map.to);
1133     assertSame(cds, dbRefs[1].map.to);
1134     assertEquals(1, dna.getDBRefs().length);
1135     assertSame(pep.getDatasetSequence(), dna.getDBRefs()[0].map.to);
1136     assertEquals(1, cds.getDBRefs().length);
1137     assertSame(pep.getDatasetSequence(), cds.getDBRefs()[0].map.to);
1138   }
1139
1140   @Test(groups = { "Functional" })
1141   public void testFindGroup()
1142   {
1143     SequenceI seq1 = new Sequence("seq1", "ABCDEF---GHI");
1144     SequenceI seq2 = new Sequence("seq2", "---JKLMNO---");
1145     AlignmentI a = new Alignment(new SequenceI[] { seq1, seq2 });
1146
1147     assertNull(a.findGroup(null, 0));
1148     assertNull(a.findGroup(seq1, 1));
1149     assertNull(a.findGroup(seq1, -1));
1150
1151     /*
1152      * add a group consisting of just "DEF"
1153      */
1154     SequenceGroup sg1 = new SequenceGroup();
1155     sg1.addSequence(seq1, false);
1156     sg1.setStartRes(3);
1157     sg1.setEndRes(5);
1158     a.addGroup(sg1);
1159
1160     assertNull(a.findGroup(seq1, 2)); // position not in group
1161     assertNull(a.findGroup(seq1, 6)); // position not in group
1162     assertNull(a.findGroup(seq2, 5)); // sequence not in group
1163     assertSame(a.findGroup(seq1, 3), sg1); // yes
1164     assertSame(a.findGroup(seq1, 4), sg1);
1165     assertSame(a.findGroup(seq1, 5), sg1);
1166
1167     /*
1168      * add a group consisting of
1169      * EF--
1170      * KLMN
1171      */
1172     SequenceGroup sg2 = new SequenceGroup();
1173     sg2.addSequence(seq1, false);
1174     sg2.addSequence(seq2, false);
1175     sg2.setStartRes(4);
1176     sg2.setEndRes(7);
1177     a.addGroup(sg2);
1178
1179     assertNull(a.findGroup(seq1, 2)); // unchanged
1180     assertSame(a.findGroup(seq1, 3), sg1); // unchanged
1181     /*
1182      * if a residue is in more than one group, method returns
1183      * the first found (in order groups were added)
1184      */
1185     assertSame(a.findGroup(seq1, 4), sg1);
1186     assertSame(a.findGroup(seq1, 5), sg1);
1187
1188     /*
1189      * seq2 only belongs to the second group
1190      */
1191     assertSame(a.findGroup(seq2, 4), sg2);
1192     assertSame(a.findGroup(seq2, 5), sg2);
1193     assertSame(a.findGroup(seq2, 6), sg2);
1194     assertSame(a.findGroup(seq2, 7), sg2);
1195     assertNull(a.findGroup(seq2, 3));
1196     assertNull(a.findGroup(seq2, 8));
1197   }
1198
1199 }