JAL-2434 omit unmapped positions from mapping
[jalview.git] / test / jalview / ws / sifts / SiftsClientTest.java
1 /*
2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
4  * 
5  * This file is part of Jalview.
6  * 
7  * Jalview is free software: you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License 
9  * as published by the Free Software Foundation, either version 3
10  * of the License, or (at your option) any later version.
11  *  
12  * Jalview is distributed in the hope that it will be useful, but 
13  * WITHOUT ANY WARRANTY; without even the implied warranty 
14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR 
15  * PURPOSE.  See the GNU General Public License for more details.
16  * 
17  * You should have received a copy of the GNU General Public License
18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
19  * The Jalview Authors are detailed in the 'AUTHORS' file.
20  */
21 package jalview.ws.sifts;
22
23 import static org.testng.Assert.assertEquals;
24 import static org.testng.Assert.assertTrue;
25
26 import jalview.api.DBRefEntryI;
27 import jalview.bin.Cache;
28 import jalview.datamodel.DBRefEntry;
29 import jalview.datamodel.DBRefSource;
30 import jalview.datamodel.Sequence;
31 import jalview.datamodel.SequenceI;
32 import jalview.gui.JvOptionPane;
33 import jalview.io.DataSourceType;
34 import jalview.structure.StructureMapping;
35 import jalview.structure.StructureMappingClient.StructureMappingException;
36 import jalview.xml.binding.sifts.Entry.Entity;
37
38 import java.io.File;
39 import java.io.IOException;
40 import java.util.ArrayList;
41 import java.util.HashMap;
42 import java.util.Iterator;
43 import java.util.Map;
44
45 import junit.extensions.PA;
46
47 import org.testng.Assert;
48 import org.testng.FileAssert;
49 import org.testng.annotations.AfterTest;
50 import org.testng.annotations.BeforeClass;
51 import org.testng.annotations.BeforeTest;
52 import org.testng.annotations.Test;
53
54 import MCview.Atom;
55 import MCview.PDBfile;
56
57 public class SiftsClientTest
58 {
59
60   @BeforeClass(alwaysRun = true)
61   public void setUpJvOptionPane()
62   {
63     JvOptionPane.setInteractiveMode(false);
64     JvOptionPane.setMockResponse(JvOptionPane.CANCEL_OPTION);
65   }
66
67   public static final String DEFAULT_SIFTS_DOWNLOAD_DIR = System
68           .getProperty("user.home")
69           + File.separatorChar
70           + ".sifts_downloads" + File.separatorChar;
71
72   private String testPDBId = "1a70";
73
74   private SiftsClient siftsClient = null;
75
76   SequenceI testSeq = new Sequence(
77           "P00221",
78           "MAAT..TTTMMG..MATTFVPKPQAPPMMAALPSNTGR..SLFGLKT.GSR..GGRMTMA"
79                   + "AYKVTLVTPTGNVEFQCPDDVYILDAAEEEGIDLPYSCRAGSCSSCAGKLKTGSLNQDD"
80                   + "QSFLDDDQIDEGWVLTCAAYPVSDVTIETHKEEELTA.", 1, 147);
81
82   int u = StructureMapping.UNASSIGNED;
83
84   HashMap<Integer, int[]> expectedMapping = new HashMap<Integer, int[]>();
85
86   @BeforeTest(alwaysRun = true)
87   public void populateExpectedMapping() throws SiftsException
88   {
89     expectedMapping.put(51, new int[] { 1, 2 });
90     expectedMapping.put(52, new int[] { 2, 7 });
91     expectedMapping.put(53, new int[] { 3, 12 });
92     expectedMapping.put(54, new int[] { 4, 24 });
93     expectedMapping.put(55, new int[] { 5, 33 });
94     expectedMapping.put(56, new int[] { 6, 40 });
95     expectedMapping.put(57, new int[] { 7, 47 });
96     expectedMapping.put(58, new int[] { 8, 55 });
97     expectedMapping.put(59, new int[] { 9, 62 });
98     expectedMapping.put(60, new int[] { 10, 69 });
99     expectedMapping.put(61, new int[] { 11, 76 });
100     expectedMapping.put(62, new int[] { 12, 83 });
101     expectedMapping.put(63, new int[] { 13, 87 });
102     expectedMapping.put(64, new int[] { 14, 95 });
103     expectedMapping.put(65, new int[] { 15, 102 });
104     expectedMapping.put(66, new int[] { 16, 111 });
105     expectedMapping.put(67, new int[] { 17, 122 });
106     expectedMapping.put(68, new int[] { 18, 131 });
107     expectedMapping.put(69, new int[] { 19, 137 });
108     expectedMapping.put(70, new int[] { 20, 144 });
109     expectedMapping.put(71, new int[] { 21, 152 });
110     expectedMapping.put(72, new int[] { 22, 160 });
111     expectedMapping.put(73, new int[] { 23, 167 });
112     expectedMapping.put(74, new int[] { 24, 179 });
113     expectedMapping.put(75, new int[] { 25, 187 });
114     expectedMapping.put(76, new int[] { 26, 195 });
115     expectedMapping.put(77, new int[] { 27, 203 });
116     expectedMapping.put(78, new int[] { 28, 208 });
117     expectedMapping.put(79, new int[] { 29, 213 });
118     expectedMapping.put(80, new int[] { 30, 222 });
119     expectedMapping.put(81, new int[] { 31, 231 });
120     expectedMapping.put(82, new int[] { 32, 240 });
121     expectedMapping.put(83, new int[] { 33, 244 });
122     expectedMapping.put(84, new int[] { 34, 252 });
123     expectedMapping.put(85, new int[] { 35, 260 });
124     expectedMapping.put(86, new int[] { 36, 268 });
125     expectedMapping.put(87, new int[] { 37, 275 });
126     expectedMapping.put(88, new int[] { 38, 287 });
127     expectedMapping.put(89, new int[] { 39, 293 });
128     expectedMapping.put(90, new int[] { 40, 299 });
129     expectedMapping.put(91, new int[] { 41, 310 });
130     expectedMapping.put(92, new int[] { 42, 315 });
131     expectedMapping.put(93, new int[] { 43, 319 });
132     expectedMapping.put(94, new int[] { 44, 325 });
133     expectedMapping.put(95, new int[] { 45, 331 });
134     expectedMapping.put(96, new int[] { 46, 337 });
135     expectedMapping.put(97, new int[] { 47, 343 });
136     expectedMapping.put(98, new int[] { 48, 349 });
137     expectedMapping.put(99, new int[] { 49, 354 });
138     expectedMapping.put(100, new int[] { 50, 358 });
139     expectedMapping.put(101, new int[] { 51, 367 });
140     expectedMapping.put(102, new int[] { 52, 375 });
141     expectedMapping.put(103, new int[] { 53, 384 });
142     expectedMapping.put(104, new int[] { 54, 391 });
143     expectedMapping.put(105, new int[] { 55, 395 });
144     expectedMapping.put(106, new int[] { 56, 401 });
145     expectedMapping.put(107, new int[] { 57, 409 });
146     expectedMapping.put(108, new int[] { 58, 417 });
147     expectedMapping.put(109, new int[] { 59, 426 });
148     expectedMapping.put(110, new int[] { 60, 434 });
149     expectedMapping.put(111, new int[] { 61, 442 });
150     expectedMapping.put(112, new int[] { 62, 451 });
151     expectedMapping.put(113, new int[] { 63, 457 });
152     expectedMapping.put(114, new int[] { 64, 468 });
153     expectedMapping.put(115, new int[] { 65, 476 });
154     expectedMapping.put(116, new int[] { 66, 484 });
155     expectedMapping.put(117, new int[] { 67, 492 });
156     expectedMapping.put(118, new int[] { 68, 500 });
157     expectedMapping.put(119, new int[] { 69, 509 });
158     expectedMapping.put(120, new int[] { 70, 517 });
159     expectedMapping.put(121, new int[] { 71, 525 });
160     expectedMapping.put(122, new int[] { 72, 534 });
161     expectedMapping.put(123, new int[] { 73, 538 });
162     expectedMapping.put(124, new int[] { 74, 552 });
163     expectedMapping.put(125, new int[] { 75, 559 });
164     expectedMapping.put(126, new int[] { 76, 567 });
165     expectedMapping.put(127, new int[] { 77, 574 });
166     expectedMapping.put(128, new int[] { 78, 580 });
167     expectedMapping.put(129, new int[] { 79, 585 });
168     expectedMapping.put(130, new int[] { 80, 590 });
169     expectedMapping.put(131, new int[] { 81, 602 });
170     expectedMapping.put(132, new int[] { 82, 609 });
171     expectedMapping.put(133, new int[] { 83, 616 });
172     expectedMapping.put(134, new int[] { 84, 622 });
173     expectedMapping.put(135, new int[] { 85, 630 });
174     expectedMapping.put(136, new int[] { 86, 637 });
175     expectedMapping.put(137, new int[] { 87, 644 });
176     expectedMapping.put(138, new int[] { 88, 652 });
177     expectedMapping.put(139, new int[] { 89, 661 });
178     expectedMapping.put(140, new int[] { 90, 668 });
179     expectedMapping.put(141, new int[] { 91, 678 });
180     expectedMapping.put(142, new int[] { 92, 687 });
181     expectedMapping.put(143, new int[] { 93, 696 });
182     expectedMapping.put(144, new int[] { 94, 705 });
183     expectedMapping.put(145, new int[] { 95, 714 });
184     expectedMapping.put(146, new int[] { 96, 722 });
185     expectedMapping.put(147, new int[] { 97, 729 });
186   }
187
188   @BeforeTest(alwaysRun = true)
189   public void setUpSiftsClient() throws SiftsException, IOException
190   {
191     // read test props before manipulating config
192     Cache.loadProperties("test/jalview/io/testProps.jvprops");
193     // SIFTs entries are updated weekly - so use saved SIFTs file to enforce
194     // test reproducibility
195     new SiftsSettings();
196     SiftsSettings.setSiftDownloadDirectory(jalview.bin.Cache.getDefault(
197             "sifts_download_dir", DEFAULT_SIFTS_DOWNLOAD_DIR));
198     SiftsSettings.setMapWithSifts(true);
199     SiftsSettings.setCacheThresholdInDays("2");
200     SiftsSettings.setFailSafePIDThreshold("70");
201     PDBfile pdbFile;
202     pdbFile = new PDBfile(false, false, false, "test/jalview/io/"
203             + testPDBId + ".pdb", DataSourceType.FILE);
204     siftsClient = new SiftsClient(pdbFile);
205   }
206
207   @AfterTest(alwaysRun = true)
208   public void cleanUpSiftsClient()
209   {
210     siftsClient = null;
211   }
212
213   @Test(groups = { "Network" })
214   public void getSIFTsFileTest() throws SiftsException, IOException
215   {
216     File siftsFile;
217     siftsFile = SiftsClient.downloadSiftsFile(testPDBId);
218     FileAssert.assertFile(siftsFile);
219     long t1 = siftsFile.lastModified();
220
221     // re-read file should be returned from cache
222     siftsFile = SiftsClient.downloadSiftsFile(testPDBId);
223     FileAssert.assertFile(siftsFile);
224     long t2 = siftsFile.lastModified();
225     assertEquals(t1, t2);
226
227     /*
228      * force fetch by having 0 expiry of cache
229      * also wait one second, because file timestamp does not
230      * give millisecond resolution :-(
231      */
232     synchronized (this)
233     {
234       try
235       {
236         wait(1000);
237       } catch (InterruptedException e)
238       {
239       }
240     }
241     SiftsSettings.setCacheThresholdInDays("0");
242     siftsFile = SiftsClient.getSiftsFile(testPDBId);
243     FileAssert.assertFile(siftsFile);
244     long t3 = siftsFile.lastModified();
245     assertTrue(t3 > t2, "file timestamp unchanged at " + t3);
246
247     SiftsSettings.setCacheThresholdInDays("2");
248   }
249
250   @Test(groups = { "Network" })
251   public void downloadSiftsFileTest() throws SiftsException, IOException
252   {
253     // Assert that file isn't yet downloaded - if already downloaded, assert it
254     // is deleted
255     Assert.assertTrue(SiftsClient.deleteSiftsFileByPDBId(testPDBId));
256     File siftsFile;
257     siftsFile = SiftsClient.downloadSiftsFile(testPDBId);
258     FileAssert.assertFile(siftsFile);
259     SiftsClient.downloadSiftsFile(testPDBId);
260   }
261
262   @Test(groups = { "Network" })
263   public void getAllMappingAccessionTest()
264   {
265     Assert.assertNotNull(siftsClient);
266     Assert.assertNotNull(siftsClient.getAllMappingAccession());
267     Assert.assertTrue(siftsClient.getAllMappingAccession().size() > 1);
268   }
269
270   @Test(groups = { "Network" })
271   public void getGreedyMappingTest()
272   {
273     Assert.assertNotNull(siftsClient);
274     Assert.assertNotNull(testSeq);
275     Assert.assertNotNull(expectedMapping);
276
277     // TODO delete when auto-fetching of DBRefEntry is implemented
278     DBRefEntry dbRef = new DBRefEntry("uniprot", "", "P00221");
279     testSeq.addDBRef(dbRef);
280     // testSeq.setSourceDBRef(dbRef);
281
282     try
283     {
284       HashMap<Integer, int[]> actualMapping = siftsClient.getGreedyMapping(
285               "A", testSeq, null);
286       Assert.assertEquals(testSeq.getStart(), 1);
287       Assert.assertEquals(testSeq.getEnd(), 147);
288       // Can't do Assert.assertEquals(actualMapping, expectedMapping);
289       // because this fails in our version of TestNG
290       Assert.assertEquals(actualMapping.size(), expectedMapping.size());
291       Iterator<Map.Entry<Integer, int[]>> it = expectedMapping.entrySet()
292               .iterator();
293       while (it.hasNext())
294       {
295         Map.Entry<Integer, int[]> pair = it.next();
296         Assert.assertTrue(actualMapping.containsKey(pair.getKey()));
297         Assert.assertEquals(actualMapping.get(pair.getKey()),
298                 pair.getValue());
299       }
300     } catch (Exception e)
301     {
302       e.printStackTrace();
303       Assert.fail("Exception thrown while generating mapping...");
304     }
305   }
306
307   @Test(groups = { "Network" })
308   private void getAtomIndexTest()
309   {
310     ArrayList<Atom> atoms = new ArrayList<Atom>();
311     Atom atom = new Atom(u, u, u);
312     atom.resNumber = 43;
313     atom.atomIndex = 7;
314     atoms.add(atom);
315     int actualAtomIndex = siftsClient.getAtomIndex(1, atoms);
316     Assert.assertEquals(actualAtomIndex, -1);
317     actualAtomIndex = siftsClient.getAtomIndex(43, atoms);
318     Assert.assertEquals(actualAtomIndex, 7);
319   }
320
321   @Test(
322     groups = { "Network" },
323     expectedExceptions = IllegalArgumentException.class)
324   private void getAtomIndexNullTest()
325   {
326     siftsClient.getAtomIndex(1, null);
327   }
328
329   @Test(groups = { "Network" })
330   private void padWithGapsTest()
331   {
332
333   }
334
335   @Test(
336 groups = { "Network" },
337     expectedExceptions = StructureMappingException.class)
338   private void populateAtomPositionsNullTest1()
339           throws IllegalArgumentException, StructureMappingException
340   {
341     siftsClient.populateAtomPositions(null, null);
342   }
343
344   @Test(
345 groups = { "Network" },
346     expectedExceptions = StructureMappingException.class)
347   private void populateAtomPositionsNullTest2()
348           throws IllegalArgumentException, StructureMappingException
349   {
350     siftsClient.populateAtomPositions("A", null);
351   }
352
353   @Test(groups = { "Network" })
354   public void getValidSourceDBRefTest() throws SiftsException
355   {
356     DBRefEntryI actualValidSrcDBRef = siftsClient
357             .getValidSourceDBRef(testSeq);
358     DBRefEntryI expectedDBRef = new DBRefEntry();
359     expectedDBRef.setSource(DBRefSource.UNIPROT);
360     expectedDBRef.setAccessionId("P00221");
361     expectedDBRef.setVersion("");
362     Assert.assertEquals(actualValidSrcDBRef, expectedDBRef);
363   }
364
365   @Test(
366 groups = { "Network" },
367     expectedExceptions = SiftsException.class)
368   public void getValidSourceDBRefExceptionTest() throws SiftsException
369   {
370     SequenceI invalidTestSeq = new Sequence("testSeq", "ABCDEFGH");
371     siftsClient.getValidSourceDBRef(invalidTestSeq);
372   }
373
374   @Test(
375 groups = { "Network" },
376     expectedExceptions = SiftsException.class)
377   public void getValidSourceDBRefExceptionXTest() throws SiftsException
378   {
379     SequenceI invalidTestSeq = new Sequence("testSeq", "ABCDEFGH");
380     DBRefEntry invalidDBRef = new DBRefEntry();
381     invalidDBRef.setAccessionId("BLAR");
382     invalidTestSeq.addDBRef(invalidDBRef);
383     siftsClient.getValidSourceDBRef(invalidTestSeq);
384   }
385
386   @Test(groups = { "Network" })
387   public void isValidDBRefEntryTest()
388   {
389     DBRefEntryI validDBRef = new DBRefEntry();
390     validDBRef.setSource(DBRefSource.UNIPROT);
391     validDBRef.setAccessionId("P00221");
392     validDBRef.setVersion("");
393     Assert.assertTrue(siftsClient.isValidDBRefEntry(validDBRef));
394   }
395
396   @Test(groups = { "Network" })
397   public void getSiftsStructureMappingTest()
398           throws StructureMappingException, Exception
399   {
400     Assert.assertTrue(SiftsSettings.isMapWithSifts());
401     StructureMapping strucMapping = siftsClient.getStructureMapping(
402             testSeq, testPDBId, "A");
403     String expectedMappingOutput = "\nSequence ⟷ Structure mapping details\n"
404             + "Method: SIFTS\n\n"
405             + "P00221 :  51 - 147 Maps to \n"
406             + "1A70|A :  1 - 97\n\n"
407             + "P00221 AAYKVTLVTPTGNVEFQCPDDVYILDAAEEEGIDLPYSCRAGSCSSCAGKLKTGSLNQDDQSFLD\n"
408             + "       |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||\n"
409             + "1A70|A AAYKVTLVTPTGNVEFQCPDDVYILDAAEEEGIDLPYSCRAGSCSSCAGKLKTGSLNQDDQSFLD\n\n"
410
411             + "P00221 DDQIDEGWVLTCAAYPVSDVTIETHKEEELTA\n"
412             + "       |||||||||||||||||||||||||| |||||\n"
413             + "1A70|A DDQIDEGWVLTCAAYPVSDVTIETHKKEELTA\n\n" +
414
415             "Length of alignment = 97\n" + "Percentage ID = 98.97\n";
416
417     Assert.assertEquals(strucMapping.getMappingDetailsOutput(),
418             expectedMappingOutput);
419
420     // Can't do Assert.assertEquals(strucMapping.getMapping(), expectedMapping);
421     // because this fails in our version of TestNG
422     Map<Integer, int[]> mapping = (Map<Integer, int[]>) PA.getValue(
423             strucMapping, "mapping");
424     Assert.assertEquals(
425             mapping.size(),
426             expectedMapping.size());
427     Iterator<Map.Entry<Integer, int[]>> it = expectedMapping.entrySet()
428             .iterator();
429     while (it.hasNext())
430     {
431       Map.Entry<Integer, int[]> pair = it.next();
432       Assert.assertTrue(mapping
433               .containsKey(pair.getKey()));
434       Assert.assertEquals(mapping.get(pair.getKey()),
435               pair.getValue());
436     }
437   }
438
439   @Test(groups = { "Network" })
440   public void getEntityCountTest()
441   {
442     int actualEntityCount = siftsClient.getEntityCount();
443     System.out.println("actual entity count : " + actualEntityCount);
444     Assert.assertEquals(actualEntityCount, 1);
445   }
446
447   @Test(groups = { "Network" })
448   public void getDbAccessionIdTest()
449   {
450     String actualDbAccId = siftsClient.getDbAccessionId();
451     System.out.println("Actual Db Accession Id: " + actualDbAccId);
452     Assert.assertEquals(actualDbAccId, "1a70");
453   }
454
455   @Test(groups = { "Network" })
456   public void getDbCoordSysTest()
457   {
458     String actualDbCoordSys = siftsClient.getDbCoordSys();
459     System.out.println("Actual DbCoordSys: " + actualDbCoordSys);
460     Assert.assertEquals(actualDbCoordSys, "PDBe");
461   }
462
463   @Test(groups = { "Network" })
464   public void getDbSourceTest()
465   {
466     String actualDbSource = siftsClient.getDbSource();
467     System.out.println("Actual DbSource: " + actualDbSource);
468     Assert.assertEquals(actualDbSource, "PDBe");
469   }
470
471   @Test(groups = { "Network" })
472   public void getDbVersionTest()
473   {
474     String actualDbVersion = siftsClient.getDbVersion();
475     System.out.println("Actual DbVersion: " + actualDbVersion);
476     Assert.assertEquals(actualDbVersion, "2.0");
477   }
478
479   @Test(groups = { "Network" })
480   public void getEntityByMostOptimalMatchedIdTest1() throws IOException,
481           SiftsException
482   {
483     SiftsClient siftsClientX = null;
484     PDBfile pdbFile;
485     pdbFile = new PDBfile(false, false, false, "test/jalview/io/2nq2"
486             + ".pdb", DataSourceType.FILE);
487     siftsClientX = new SiftsClient(pdbFile);
488     Entity entityA = siftsClientX.getEntityByMostOptimalMatchedId("A");
489     Assert.assertEquals(entityA.getEntityId(), "A");
490     Entity entityB = siftsClientX.getEntityByMostOptimalMatchedId("B");
491     Assert.assertEquals(entityB.getEntityId(), "C");
492     Entity entityC = siftsClientX.getEntityByMostOptimalMatchedId("C");
493     Assert.assertEquals(entityC.getEntityId(), "B");
494     Entity entityD = siftsClientX.getEntityByMostOptimalMatchedId("D");
495     Assert.assertEquals(entityD.getEntityId(), "D");
496
497   }
498
499   @Test(groups = { "Network" })
500   public void getEntityByMostOptimalMatchedIdTest2() throws IOException,
501           SiftsException
502   {
503     // This test is for a SIFTS file in which entity A should map to chain P for
504     // the given PDB Id. All the other chains shouldn't be mapped as there are
505     // no SIFTS entity records for them.
506     SiftsClient siftsClientX = null;
507     PDBfile pdbFile;
508     pdbFile = new PDBfile(false, false, false, "test/jalview/io/3ucu.cif",
509             DataSourceType.FILE);
510     siftsClientX = new SiftsClient(pdbFile);
511     Entity entityA = siftsClientX.getEntityByMostOptimalMatchedId("P");
512     Entity entityP = siftsClientX.getEntityByMostOptimalMatchedId("A");
513     Entity entityR = siftsClientX.getEntityByMostOptimalMatchedId("R");
514     Assert.assertEquals(entityA.getEntityId(), "A");
515     Assert.assertNotEquals(entityR, "A");
516     Assert.assertNotEquals(entityP, "A");
517     Assert.assertNotEquals(entityR, "R");
518     Assert.assertNotEquals(entityP, "P");
519     Assert.assertNull(entityR);
520     Assert.assertNull(entityP);
521
522   }
523 }