JAL-1988 JAL-3130 New jlinked JRE in jalview_java2 with modules. Still needs jaxws...
[jalview.git] / test / jalview / io / ScoreMatrixFileTest.java
1 package jalview.io;
2
3 import static org.testng.Assert.assertEquals;
4 import static org.testng.Assert.assertFalse;
5 import static org.testng.Assert.assertNotNull;
6 import static org.testng.Assert.assertNull;
7 import static org.testng.Assert.assertTrue;
8 import static org.testng.Assert.fail;
9
10 import jalview.analysis.scoremodels.ScoreMatrix;
11 import jalview.analysis.scoremodels.ScoreModels;
12
13 import java.io.IOException;
14 import java.net.MalformedURLException;
15
16 import org.testng.annotations.Test;
17
18 public class ScoreMatrixFileTest
19 {
20
21   /**
22    * Test a successful parse of a (small) score matrix file
23    * 
24    * @throws IOException
25    * @throws MalformedURLException
26    */
27   @Test(groups = "Functional")
28   public void testParseMatrix_ncbiMixedDelimiters()
29           throws MalformedURLException,
30           IOException
31   {
32     /*
33      * some messy but valid input data, with comma, space
34      * or tab (or combinations) as score value delimiters
35      * this example includes 'guide' symbols on score rows
36      */
37     String data = "ScoreMatrix MyTest (example)\n" + "A\tT\tU\tt\tx\t-\n"
38             + "A,1.1,1.2,1.3,1.4, 1.5, 1.6\n"
39             + "T,2.1 2.2 2.3 2.4 2.5 2.6\n"
40             + "U\t3.1\t3.2\t3.3\t3.4\t3.5\t3.6\t\n"
41             + "t, 5.1,5.3,5.3,5.4,5.5, 5.6\n"
42             + "x\t6.1, 6.2 6.3 6.4 6.5 6.6\n"
43             + "-, \t7.1\t7.2 7.3, 7.4, 7.5\t,7.6\n";
44     FileParse fp = new FileParse(data, DataSourceType.PASTE);
45     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
46     ScoreMatrix sm = parser.parseMatrix();
47
48     assertNotNull(sm);
49     assertEquals(sm.getName(), "MyTest (example)");
50     assertEquals(sm.getSize(), 6);
51     assertNull(sm.getDescription());
52     assertTrue(sm.isDNA());
53     assertFalse(sm.isProtein());
54     assertEquals(sm.getMinimumScore(), 1.1f);
55     assertEquals(sm.getPairwiseScore('A', 'A'), 1.1f);
56     assertEquals(sm.getPairwiseScore('A', 'T'), 1.2f);
57     assertEquals(sm.getPairwiseScore('a', 'T'), 1.2f); // A/a equivalent
58     assertEquals(sm.getPairwiseScore('A', 't'), 1.4f); // T/t not equivalent
59     assertEquals(sm.getPairwiseScore('a', 't'), 1.4f);
60     assertEquals(sm.getPairwiseScore('U', 'x'), 3.5f);
61     assertEquals(sm.getPairwiseScore('u', 'x'), 3.5f);
62     // X (upper) and '.' unmapped - get minimum score
63     assertEquals(sm.getPairwiseScore('U', 'X'), 1.1f);
64     assertEquals(sm.getPairwiseScore('A', '.'), 1.1f);
65     assertEquals(sm.getPairwiseScore('-', '-'), 7.6f);
66     assertEquals(sm.getPairwiseScore('A', (char) 128), 0f); // out of range
67   }
68
69   @Test(groups = "Functional")
70   public void testParseMatrix_headerMissing()
71   {
72     String data;
73
74     data = "X Y\n1 2\n3 4\n";
75     try
76     {
77       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
78               .parseMatrix();
79       fail("expected exception");
80     } catch (IOException e)
81     {
82       assertEquals(e.getMessage(),
83               "Format error: 'ScoreMatrix <name>' should be the first non-comment line");
84     }
85   }
86
87   @Test(groups = "Functional")
88   public void testParseMatrix_ncbiNotEnoughRows()
89   {
90     String data = "ScoreMatrix MyTest\nX Y Z\n1 2 3\n4 5 6\n";
91     try
92     {
93       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
94               .parseMatrix();
95       fail("expected exception");
96     } catch (IOException e)
97     {
98       assertEquals(e.getMessage(),
99               "Expected 3 rows of score data in score matrix but only found 2");
100     }
101   }
102
103   @Test(groups = "Functional")
104   public void testParseMatrix_ncbiNotEnoughColumns()
105   {
106     String data = "ScoreMatrix MyTest\nX Y Z\n1 2 3\n4 5\n7 8 9\n";
107     try
108     {
109       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
110               .parseMatrix();
111       fail("expected exception");
112     } catch (IOException e)
113     {
114       assertEquals(e.getMessage(),
115               "Expected 3 scores at line 4: '4 5' but found 2");
116     }
117   }
118
119   @Test(groups = "Functional")
120   public void testParseMatrix_ncbiTooManyColumns()
121   {
122     /*
123      * with two too many columns:
124      */
125     String data = "ScoreMatrix MyTest\nX\tY\tZ\n1 2 3\n4 5 6 7\n8 9 10\n";
126     try
127     {
128       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
129               .parseMatrix();
130       fail("expected exception");
131     } catch (IOException e)
132     {
133       assertEquals(e.getMessage(),
134               "Expected 3 scores at line 4: '4 5 6 7' but found 4");
135     }
136
137     /*
138      * with guide character and one too many columns:
139      */
140     data = "ScoreMatrix MyTest\nX Y\nX 1 2\nY 3 4 5\n";
141     try
142     {
143       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
144               .parseMatrix();
145       fail("expected exception");
146     } catch (IOException e)
147     {
148       assertEquals(e.getMessage(),
149               "Expected 2 scores at line 4: 'Y 3 4 5' but found 3");
150     }
151
152     /*
153      * with no guide character and one too many columns
154      */
155     data = "ScoreMatrix MyTest\nX Y\n1 2\n3 4 5\n";
156     try
157     {
158       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
159               .parseMatrix();
160       fail("expected exception");
161     } catch (IOException e)
162     {
163       assertEquals(e.getMessage(),
164               "Expected 2 scores at line 4: '3 4 5' but found 3");
165     }
166   }
167
168   @Test(groups = "Functional")
169   public void testParseMatrix_ncbiTooManyRows()
170   {
171     String data = "ScoreMatrix MyTest\n\tX\tY\tZ\n1 2 3\n4 5 6\n7 8 9\n10 11 12\n";
172     try
173     {
174       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
175               .parseMatrix();
176       fail("expected exception");
177     } catch (IOException e)
178     {
179       assertEquals(e.getMessage(),
180               "Unexpected extra input line in score model file: '10 11 12'");
181     }
182   }
183
184   @Test(groups = "Functional")
185   public void testParseMatrix_ncbiBadDelimiter()
186   {
187     String data = "ScoreMatrix MyTest\n X Y Z\n1|2|3\n4|5|6\n";
188     try
189     {
190       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
191               .parseMatrix();
192       fail("expected exception");
193     } catch (IOException e)
194     {
195       assertEquals(e.getMessage(),
196               "Invalid score value '1|2|3' at line 3 column 0");
197     }
198   }
199
200   @Test(groups = "Functional")
201   public void testParseMatrix_ncbiBadFloat()
202   {
203     String data = "ScoreMatrix MyTest\n\tX\tY\tZ\n1 2 3\n4 five 6\n7 8 9\n";
204     try
205     {
206       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
207               .parseMatrix();
208       fail("expected exception");
209     } catch (IOException e)
210     {
211       assertEquals(e.getMessage(),
212               "Invalid score value 'five' at line 4 column 1");
213     }
214   }
215
216   @Test(groups = "Functional")
217   public void testParseMatrix_ncbiBadGuideCharacter()
218   {
219     String data = "ScoreMatrix MyTest\n\tX Y\nX 1 2\ny 3 4\n";
220     try
221     {
222       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
223               .parseMatrix();
224       fail("expected exception");
225     } catch (IOException e)
226     {
227       assertEquals(e.getMessage(),
228               "Error parsing score matrix at line 4, expected 'Y' but found 'y'");
229     }
230
231     data = "ScoreMatrix MyTest\n\tX Y\nXX 1 2\nY 3 4\n";
232     try
233     {
234       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
235               .parseMatrix();
236       fail("expected exception");
237     } catch (IOException e)
238     {
239       assertEquals(e.getMessage(),
240               "Error parsing score matrix at line 3, expected 'X' but found 'XX'");
241     }
242   }
243
244   @Test(groups = "Functional")
245   public void testParseMatrix_ncbiNameMissing()
246   {
247     /*
248      * Name missing on ScoreMatrix header line
249      */
250     String data = "ScoreMatrix\nX Y\n1 2\n3 4\n";
251     try
252     {
253       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
254               .parseMatrix();
255       fail("expected exception");
256     } catch (IOException e)
257     {
258       assertEquals(
259               e.getMessage(),
260               "Format error: expected 'ScoreMatrix <name>', found 'ScoreMatrix' at line 1");
261     }
262   }
263
264   /**
265    * Test a successful parse of a (small) score matrix file
266    * 
267    * @throws IOException
268    * @throws MalformedURLException
269    */
270   @Test(groups = "Functional")
271   public void testParseMatrix_ncbiFormat() throws MalformedURLException,
272           IOException
273   {
274     // input including comment and blank lines
275     String data = "ScoreMatrix MyTest\n#comment\n\n" + "\tA\tB\tC\n"
276             + "A\t1.0\t2.0\t3.0\n" + "B\t4.0\t5.0\t6.0\n"
277             + "C\t7.0\t8.0\t9.0\n";
278     FileParse fp = new FileParse(data, DataSourceType.PASTE);
279     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
280     ScoreMatrix sm = parser.parseMatrix();
281   
282     assertNotNull(sm);
283     assertEquals(sm.getName(), "MyTest");
284     assertEquals(parser.getMatrixName(), "MyTest");
285     assertEquals(sm.getPairwiseScore('A', 'A'), 1.0f);
286     assertEquals(sm.getPairwiseScore('B', 'c'), 6.0f);
287     assertEquals(sm.getSize(), 3);
288   }
289
290   /**
291    * Test a successful parse of a (small) score matrix file
292    * 
293    * @throws IOException
294    * @throws MalformedURLException
295    */
296   @Test(groups = "Functional")
297   public void testParseMatrix_aaIndexBlosum80()
298           throws MalformedURLException,
299           IOException
300   {
301     FileParse fp = new FileParse("resources/scoreModel/blosum80.scm",
302             DataSourceType.FILE);
303     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
304     ScoreMatrix sm = parser.parseMatrix();
305   
306     assertNotNull(sm);
307     assertEquals(sm.getName(), "HENS920103");
308     assertEquals(sm.getDescription(),
309             "BLOSUM80 substitution matrix (Henikoff-Henikoff, 1992)");
310     assertFalse(sm.isDNA());
311     assertTrue(sm.isProtein());
312     assertEquals(20, sm.getSize());
313
314     assertEquals(sm.getPairwiseScore('A', 'A'), 7f);
315     assertEquals(sm.getPairwiseScore('A', 'R'), -3f);
316     assertEquals(sm.getPairwiseScore('r', 'a'), -3f); // A/a equivalent
317   }
318
319   /**
320    * Test a successful parse of a (small) score matrix file
321    * 
322    * @throws IOException
323    * @throws MalformedURLException
324    */
325   @Test(groups = "Functional")
326   public void testParseMatrix_aaindexFormat() throws MalformedURLException,
327           IOException
328   {
329     /*
330      * aaindex format has scores for diagonal and below only
331      */
332     String data = "H MyTest\n" + "D My description\n" + "R PMID:1438297\n"
333             + "A Authors, names\n" + "T Journal title\n"
334             + "J Journal reference\n" + "* matrix in 1/3 Bit Units\n"
335             + "M rows = ABC, cols = ABC\n" + "A\t1.0\n"
336             + "B\t4.0\t5.0\n"
337             + "C\t7.0\t8.0\t9.0\n";
338     FileParse fp = new FileParse(data, DataSourceType.PASTE);
339     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
340     ScoreMatrix sm = parser.parseMatrix();
341   
342     assertNotNull(sm);
343     assertEquals(sm.getSize(), 3);
344     assertEquals(sm.getName(), "MyTest");
345     assertEquals(sm.getDescription(), "My description");
346     assertEquals(sm.getPairwiseScore('A', 'A'), 1.0f);
347     assertEquals(sm.getPairwiseScore('A', 'B'), 4.0f);
348     assertEquals(sm.getPairwiseScore('A', 'C'), 7.0f);
349     assertEquals(sm.getPairwiseScore('B', 'A'), 4.0f);
350     assertEquals(sm.getPairwiseScore('B', 'B'), 5.0f);
351     assertEquals(sm.getPairwiseScore('B', 'C'), 8.0f);
352     assertEquals(sm.getPairwiseScore('C', 'C'), 9.0f);
353     assertEquals(sm.getPairwiseScore('C', 'B'), 8.0f);
354     assertEquals(sm.getPairwiseScore('C', 'A'), 7.0f);
355   }
356
357   @Test(groups = "Functional")
358   public void testParseMatrix_aaindex_mMissing()
359           throws MalformedURLException,
360           IOException
361   {
362     /*
363      * aaindex format but M cols=, rows= is missing
364      */
365     String data = "H MyTest\n" + "A\t1.0\n"
366             + "B\t4.0\t5.0\n"
367             + "C\t7.0\t8.0\t9.0\n";
368     FileParse fp = new FileParse(data, DataSourceType.PASTE);
369     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
370     try
371     {
372       parser.parseMatrix();
373       fail("Expected exception");
374     } catch (FileFormatException e)
375     {
376       assertEquals(e.getMessage(), "No alphabet specified in matrix file");
377     }
378   }
379
380   @Test(groups = "Functional")
381   public void testParseMatrix_aaindex_rowColMismatch()
382           throws MalformedURLException,
383           IOException
384   {
385     String data = "H MyTest\n" + "M rows=ABC, cols=ABD\n" + "A\t1.0\n"
386             + "B\t4.0\t5.0\n"
387             + "C\t7.0\t8.0\t9.0\n";
388     FileParse fp = new FileParse(data, DataSourceType.PASTE);
389     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
390     try
391     {
392       parser.parseMatrix();
393       fail("Expected exception");
394     } catch (FileFormatException e)
395     {
396       assertEquals(
397               e.getMessage(),
398               "Unexpected aaIndex score matrix data at line 2: M rows=ABC, cols=ABD rows != cols");
399     }
400   }
401
402   @Test(groups = "Functional")
403   public void testParseMatrix_ncbiHeaderRepeated()
404   {
405     String data = "ScoreMatrix BLOSUM\nScoreMatrix PAM250\nX Y\n1 2\n3 4\n";
406     try
407     {
408       new ScoreMatrixFile(new FileParse(data, DataSourceType.PASTE))
409               .parseMatrix();
410       fail("expected exception");
411     } catch (IOException e)
412     {
413       assertEquals(e.getMessage(),
414               "Error: 'ScoreMatrix' repeated in file at line 2");
415     }
416   }
417
418   @Test(groups = "Functional")
419   public void testParseMatrix_aaindex_tooManyRows()
420           throws MalformedURLException,
421           IOException
422   {
423     String data = "H MyTest\n" + "M rows=ABC, cols=ABC\n" + "A\t1.0\n"
424             + "B\t4.0\t5.0\n" + "C\t7.0\t8.0\t9.0\n" + "C\t7.0\t8.0\t9.0\n";
425     FileParse fp = new FileParse(data, DataSourceType.PASTE);
426     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
427     try
428     {
429       parser.parseMatrix();
430       fail("Expected exception");
431     } catch (FileFormatException e)
432     {
433       assertEquals(e.getMessage(), "Too many data rows in matrix file");
434     }
435   }
436
437   @Test(groups = "Functional")
438   public void testParseMatrix_aaindex_extraDataLines()
439           throws MalformedURLException,
440           IOException
441   {
442     String data = "H MyTest\n" + "M rows=ABC, cols=ABC\n" + "A\t1.0\n"
443             + "B\t4.0\t5.0\n" + "C\t7.0\t8.0\t9.0\n" + "something extra\n";
444     FileParse fp = new FileParse(data, DataSourceType.PASTE);
445     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
446     try
447     {
448       parser.parseMatrix();
449       fail("Expected exception");
450     } catch (FileFormatException e)
451     {
452       assertEquals(e.getMessage(), "Too many data rows in matrix file");
453     }
454   }
455
456   @Test(groups = "Functional")
457   public void testParseMatrix_aaindex_tooFewColumns()
458           throws MalformedURLException,
459           IOException
460   {
461     String data = "H MyTest\n" + "M rows=ABC, cols=ABC\n" + "A\t1.0\n"
462             + "B\t4.0\t5.0\n" + "C\t7.0\t8.0\n";
463     FileParse fp = new FileParse(data, DataSourceType.PASTE);
464     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
465     try
466     {
467       parser.parseMatrix();
468       fail("Expected exception");
469     } catch (FileFormatException e)
470     {
471       assertEquals(
472               e.getMessage(),
473               "Expected 3 scores at line 5: 'C\t7.0\t8.0' but found 2");
474     }
475   }
476
477   /**
478    * Test a successful parse and register of a score matrix file
479    * 
480    * @throws IOException
481    * @throws MalformedURLException
482    */
483   @Test(groups = "Functional")
484   public void testParse_ncbiFormat() throws MalformedURLException,
485           IOException
486   {
487     assertNull(ScoreModels.getInstance().getScoreModel("MyNewTest", null));
488
489     String data = "ScoreMatrix MyNewTest\n" + "\tA\tB\tC\n"
490             + "A\t1.0\t2.0\t3.0\n" + "B\t4.0\t5.0\t6.0\n"
491             + "C\t7.0\t8.0\t9.0\n";
492     FileParse fp = new FileParse(data, DataSourceType.PASTE);
493     ScoreMatrixFile parser = new ScoreMatrixFile(fp);
494
495     parser.parse();
496   
497     ScoreMatrix sm = (ScoreMatrix) ScoreModels.getInstance().getScoreModel(
498             "MyNewTest", null);
499     assertNotNull(sm);
500     assertEquals(sm.getName(), "MyNewTest");
501     assertEquals(parser.getMatrixName(), "MyNewTest");
502     assertEquals(sm.getPairwiseScore('A', 'A'), 1.0f);
503     assertEquals(sm.getPairwiseScore('B', 'c'), 6.0f);
504     assertEquals(sm.getSize(), 3);
505   }
506 }