cleanup
[jalview.git] / forester / java / src / org / forester / phylogeny / PhylogenyMethods.java
1 // $Id:
2 // FORESTER -- software libraries and applications
3 // for evolutionary biology research and applications.
4 //
5 // Copyright (C) 2008-2009 Christian M. Zmasek
6 // Copyright (C) 2008-2009 Burnham Institute for Medical Research
7 // All rights reserved
8 //
9 // This library is free software; you can redistribute it and/or
10 // modify it under the terms of the GNU Lesser General Public
11 // License as published by the Free Software Foundation; either
12 // version 2.1 of the License, or (at your option) any later version.
13 //
14 // This library is distributed in the hope that it will be useful,
15 // but WITHOUT ANY WARRANTY; without even the implied warranty of
16 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
17 // Lesser General Public License for more details.
18 //
19 // You should have received a copy of the GNU Lesser General Public
20 // License along with this library; if not, write to the Free Software
21 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA
22 //
23 // Contact: phylosoft @ gmail . com
24 // WWW: www.phylosoft.org/forester
25
26 package org.forester.phylogeny;
27
28 import java.awt.Color;
29 import java.io.File;
30 import java.io.IOException;
31 import java.util.ArrayList;
32 import java.util.Arrays;
33 import java.util.Collections;
34 import java.util.Comparator;
35 import java.util.HashSet;
36 import java.util.Iterator;
37 import java.util.List;
38 import java.util.Set;
39 import java.util.SortedMap;
40 import java.util.TreeMap;
41
42 import org.forester.io.parsers.PhylogenyParser;
43 import org.forester.io.parsers.phyloxml.PhyloXmlDataFormatException;
44 import org.forester.io.parsers.phyloxml.PhyloXmlUtil;
45 import org.forester.io.parsers.util.PhylogenyParserException;
46 import org.forester.phylogeny.data.BranchColor;
47 import org.forester.phylogeny.data.BranchWidth;
48 import org.forester.phylogeny.data.Confidence;
49 import org.forester.phylogeny.data.DomainArchitecture;
50 import org.forester.phylogeny.data.Identifier;
51 import org.forester.phylogeny.data.PhylogenyDataUtil;
52 import org.forester.phylogeny.data.Sequence;
53 import org.forester.phylogeny.data.Taxonomy;
54 import org.forester.phylogeny.factories.ParserBasedPhylogenyFactory;
55 import org.forester.phylogeny.factories.PhylogenyFactory;
56 import org.forester.phylogeny.iterators.PhylogenyNodeIterator;
57 import org.forester.util.BasicDescriptiveStatistics;
58 import org.forester.util.DescriptiveStatistics;
59 import org.forester.util.FailedConditionCheckException;
60 import org.forester.util.ForesterUtil;
61
62 public class PhylogenyMethods {
63
64     private static PhylogenyMethods _instance      = null;
65     private final Set<Integer>      _temp_hash_set = new HashSet<Integer>();
66     private PhylogenyNode           _farthest_1    = null;
67     private PhylogenyNode           _farthest_2    = null;
68
69     private PhylogenyMethods() {
70         // Hidden constructor.
71     }
72
73     /**
74      * Calculates the distance between PhylogenyNodes node1 and node2.
75      * 
76      * 
77      * @param node1
78      * @param node2
79      * @return distance between node1 and node2
80      */
81     public double calculateDistance( final PhylogenyNode node1, final PhylogenyNode node2 ) {
82         final PhylogenyNode lca = obtainLCA( node1, node2 );
83         final PhylogenyNode n1 = node1;
84         final PhylogenyNode n2 = node2;
85         return ( PhylogenyMethods.getDistance( n1, lca ) + PhylogenyMethods.getDistance( n2, lca ) );
86     }
87
88     public double calculateFurthestDistance( final Phylogeny phylogeny ) {
89         if ( phylogeny.getNumberOfExternalNodes() < 2 ) {
90             return 0.0;
91         }
92         _farthest_1 = null;
93         _farthest_2 = null;
94         PhylogenyNode node_1 = null;
95         PhylogenyNode node_2 = null;
96         double farthest_d = -Double.MAX_VALUE;
97         final PhylogenyMethods methods = PhylogenyMethods.getInstance();
98         final List<PhylogenyNode> ext_nodes = phylogeny.getRoot().getAllExternalDescendants();
99         for( int i = 1; i < ext_nodes.size(); ++i ) {
100             for( int j = 0; j < i; ++j ) {
101                 final double d = methods.calculateDistance( ext_nodes.get( i ), ext_nodes.get( j ) );
102                 if ( d < 0.0 ) {
103                     throw new RuntimeException( "distance cannot be negative" );
104                 }
105                 if ( d > farthest_d ) {
106                     farthest_d = d;
107                     node_1 = ext_nodes.get( i );
108                     node_2 = ext_nodes.get( j );
109                 }
110             }
111         }
112         _farthest_1 = node_1;
113         _farthest_2 = node_2;
114         return farthest_d;
115     }
116
117     @Override
118     public Object clone() throws CloneNotSupportedException {
119         throw new CloneNotSupportedException();
120     }
121
122     public PhylogenyNode getFarthestNode1() {
123         return _farthest_1;
124     }
125
126     public PhylogenyNode getFarthestNode2() {
127         return _farthest_2;
128     }
129
130     /**
131      * Returns the LCA of PhylogenyNodes node1 and node2.
132      * 
133      * 
134      * @param node1
135      * @param node2
136      * @return LCA of node1 and node2
137      */
138     public PhylogenyNode obtainLCA( final PhylogenyNode node1, final PhylogenyNode node2 ) {
139         _temp_hash_set.clear();
140         PhylogenyNode n1 = node1;
141         PhylogenyNode n2 = node2;
142         _temp_hash_set.add( n1.getId() );
143         while ( !n1.isRoot() ) {
144             n1 = n1.getParent();
145             _temp_hash_set.add( n1.getId() );
146         }
147         while ( !_temp_hash_set.contains( n2.getId() ) && !n2.isRoot() ) {
148             n2 = n2.getParent();
149         }
150         if ( !_temp_hash_set.contains( n2.getId() ) ) {
151             throw new IllegalArgumentException( "attempt to get LCA of two nodes which do not share a common root" );
152         }
153         return n2;
154     }
155
156     /**
157      * Returns all orthologs of the external PhylogenyNode n of this Phylogeny.
158      * Orthologs are returned as List of node references.
159      * <p>
160      * PRECONDITION: This tree must be binary and rooted, and speciation -
161      * duplication need to be assigned for each of its internal Nodes.
162      * <p>
163      * Returns null if this Phylogeny is empty or if n is internal.
164      * @param n
165      *            external PhylogenyNode whose orthologs are to be returned
166      * @return Vector of references to all orthologous Nodes of PhylogenyNode n
167      *         of this Phylogeny, null if this Phylogeny is empty or if n is
168      *         internal
169      */
170     public List<PhylogenyNode> getOrthologousNodes( final Phylogeny phy, final PhylogenyNode node ) {
171         final List<PhylogenyNode> nodes = new ArrayList<PhylogenyNode>();
172         final PhylogenyNodeIterator it = phy.iteratorExternalForward();
173         while ( it.hasNext() ) {
174             final PhylogenyNode temp_node = it.next();
175             if ( ( temp_node != node ) && isAreOrthologous( node, temp_node ) ) {
176                 nodes.add( temp_node );
177             }
178         }
179         return nodes;
180     }
181
182     public boolean isAreOrthologous( final PhylogenyNode node1, final PhylogenyNode node2 ) {
183         return !obtainLCA( node1, node2 ).isDuplication();
184     }
185
186     public final static Phylogeny[] readPhylogenies( final PhylogenyParser parser, final File file ) throws IOException {
187         final PhylogenyFactory factory = ParserBasedPhylogenyFactory.getInstance();
188         final Phylogeny[] trees = factory.create( file, parser );
189         if ( ( trees == null ) || ( trees.length == 0 ) ) {
190             throw new PhylogenyParserException( "Unable to parse phylogeny from file: " + file );
191         }
192         return trees;
193     }
194
195     public final static Phylogeny[] readPhylogenies( final PhylogenyParser parser, final List<File> files )
196             throws IOException {
197         final List<Phylogeny> tree_list = new ArrayList<Phylogeny>();
198         for( final File file : files ) {
199             final PhylogenyFactory factory = ParserBasedPhylogenyFactory.getInstance();
200             final Phylogeny[] trees = factory.create( file, parser );
201             if ( ( trees == null ) || ( trees.length == 0 ) ) {
202                 throw new PhylogenyParserException( "Unable to parse phylogeny from file: " + file );
203             }
204             tree_list.addAll( Arrays.asList( trees ) );
205         }
206         return tree_list.toArray( new Phylogeny[ tree_list.size() ] );
207     }
208
209     final static public void transferInternalNodeNamesToConfidence( final Phylogeny phy ) {
210         final PhylogenyNodeIterator it = phy.iteratorPostorder();
211         while ( it.hasNext() ) {
212             final PhylogenyNode n = it.next();
213             if ( !n.isExternal() && !n.getBranchData().isHasConfidences() ) {
214                 if ( !ForesterUtil.isEmpty( n.getName() ) ) {
215                     double d = -1.0;
216                     try {
217                         d = Double.parseDouble( n.getName() );
218                     }
219                     catch ( final Exception e ) {
220                         d = -1.0;
221                     }
222                     if ( d >= 0.0 ) {
223                         n.getBranchData().addConfidence( new Confidence( d, "" ) );
224                         n.setName( "" );
225                     }
226                 }
227             }
228         }
229     }
230
231     final static public void transferInternalNamesToBootstrapSupport( final Phylogeny phy ) {
232         final PhylogenyNodeIterator it = phy.iteratorPostorder();
233         while ( it.hasNext() ) {
234             final PhylogenyNode n = it.next();
235             if ( !n.isExternal() && !ForesterUtil.isEmpty( n.getName() ) ) {
236                 double value = -1;
237                 try {
238                     value = Double.parseDouble( n.getName() );
239                 }
240                 catch ( final NumberFormatException e ) {
241                     throw new IllegalArgumentException( "failed to parse number from [" + n.getName() + "]: "
242                             + e.getLocalizedMessage() );
243                 }
244                 if ( value >= 0.0 ) {
245                     n.getBranchData().addConfidence( new Confidence( value, "bootstrap" ) );
246                     n.setName( "" );
247                 }
248             }
249         }
250     }
251
252     final static public void sortNodeDescendents( final PhylogenyNode node, final DESCENDANT_SORT_PRIORITY pri ) {
253         class PhylogenyNodeSortTaxonomyPriority implements Comparator<PhylogenyNode> {
254
255             @Override
256             public int compare( final PhylogenyNode n1, final PhylogenyNode n2 ) {
257                 if ( n1.getNodeData().isHasTaxonomy() && n2.getNodeData().isHasTaxonomy() ) {
258                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getScientificName() ) )
259                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getScientificName() ) ) ) {
260                         return n1.getNodeData().getTaxonomy().getScientificName().toLowerCase()
261                                 .compareTo( n2.getNodeData().getTaxonomy().getScientificName().toLowerCase() );
262                     }
263                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getTaxonomyCode() ) )
264                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getTaxonomyCode() ) ) ) {
265                         return n1.getNodeData().getTaxonomy().getTaxonomyCode()
266                                 .compareTo( n2.getNodeData().getTaxonomy().getTaxonomyCode() );
267                     }
268                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getCommonName() ) )
269                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getCommonName() ) ) ) {
270                         return n1.getNodeData().getTaxonomy().getCommonName().toLowerCase()
271                                 .compareTo( n2.getNodeData().getTaxonomy().getCommonName().toLowerCase() );
272                     }
273                 }
274                 if ( n1.getNodeData().isHasSequence() && n2.getNodeData().isHasSequence() ) {
275                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getName() ) )
276                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getName() ) ) ) {
277                         return n1.getNodeData().getSequence().getName().toLowerCase()
278                                 .compareTo( n2.getNodeData().getSequence().getName().toLowerCase() );
279                     }
280                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getSymbol() ) )
281                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getSymbol() ) ) ) {
282                         return n1.getNodeData().getSequence().getSymbol()
283                                 .compareTo( n2.getNodeData().getSequence().getSymbol() );
284                     }
285                     if ( ( n1.getNodeData().getSequence().getAccession() != null )
286                             && ( n2.getNodeData().getSequence().getAccession() != null )
287                             && !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getAccession().getValue() )
288                             && !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getAccession().getValue() ) ) {
289                         return n1.getNodeData().getSequence().getAccession().getValue()
290                                 .compareTo( n2.getNodeData().getSequence().getAccession().getValue() );
291                     }
292                 }
293                 if ( ( !ForesterUtil.isEmpty( n1.getName() ) ) && ( !ForesterUtil.isEmpty( n2.getName() ) ) ) {
294                     return n1.getName().toLowerCase().compareTo( n2.getName().toLowerCase() );
295                 }
296                 return 0;
297             }
298         }
299         class PhylogenyNodeSortSequencePriority implements Comparator<PhylogenyNode> {
300
301             @Override
302             public int compare( final PhylogenyNode n1, final PhylogenyNode n2 ) {
303                 if ( n1.getNodeData().isHasSequence() && n2.getNodeData().isHasSequence() ) {
304                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getName() ) )
305                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getName() ) ) ) {
306                         return n1.getNodeData().getSequence().getName().toLowerCase()
307                                 .compareTo( n2.getNodeData().getSequence().getName().toLowerCase() );
308                     }
309                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getSymbol() ) )
310                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getSymbol() ) ) ) {
311                         return n1.getNodeData().getSequence().getSymbol()
312                                 .compareTo( n2.getNodeData().getSequence().getSymbol() );
313                     }
314                     if ( ( n1.getNodeData().getSequence().getAccession() != null )
315                             && ( n2.getNodeData().getSequence().getAccession() != null )
316                             && !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getAccession().getValue() )
317                             && !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getAccession().getValue() ) ) {
318                         return n1.getNodeData().getSequence().getAccession().getValue()
319                                 .compareTo( n2.getNodeData().getSequence().getAccession().getValue() );
320                     }
321                 }
322                 if ( n1.getNodeData().isHasTaxonomy() && n2.getNodeData().isHasTaxonomy() ) {
323                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getScientificName() ) )
324                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getScientificName() ) ) ) {
325                         return n1.getNodeData().getTaxonomy().getScientificName().toLowerCase()
326                                 .compareTo( n2.getNodeData().getTaxonomy().getScientificName().toLowerCase() );
327                     }
328                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getTaxonomyCode() ) )
329                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getTaxonomyCode() ) ) ) {
330                         return n1.getNodeData().getTaxonomy().getTaxonomyCode()
331                                 .compareTo( n2.getNodeData().getTaxonomy().getTaxonomyCode() );
332                     }
333                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getCommonName() ) )
334                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getCommonName() ) ) ) {
335                         return n1.getNodeData().getTaxonomy().getCommonName().toLowerCase()
336                                 .compareTo( n2.getNodeData().getTaxonomy().getCommonName().toLowerCase() );
337                     }
338                 }
339                 if ( ( !ForesterUtil.isEmpty( n1.getName() ) ) && ( !ForesterUtil.isEmpty( n2.getName() ) ) ) {
340                     return n1.getName().toLowerCase().compareTo( n2.getName().toLowerCase() );
341                 }
342                 return 0;
343             }
344         }
345         class PhylogenyNodeSortNodeNamePriority implements Comparator<PhylogenyNode> {
346
347             @Override
348             public int compare( final PhylogenyNode n1, final PhylogenyNode n2 ) {
349                 if ( ( !ForesterUtil.isEmpty( n1.getName() ) ) && ( !ForesterUtil.isEmpty( n2.getName() ) ) ) {
350                     return n1.getName().toLowerCase().compareTo( n2.getName().toLowerCase() );
351                 }
352                 if ( n1.getNodeData().isHasTaxonomy() && n2.getNodeData().isHasTaxonomy() ) {
353                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getScientificName() ) )
354                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getScientificName() ) ) ) {
355                         return n1.getNodeData().getTaxonomy().getScientificName().toLowerCase()
356                                 .compareTo( n2.getNodeData().getTaxonomy().getScientificName().toLowerCase() );
357                     }
358                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getTaxonomyCode() ) )
359                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getTaxonomyCode() ) ) ) {
360                         return n1.getNodeData().getTaxonomy().getTaxonomyCode()
361                                 .compareTo( n2.getNodeData().getTaxonomy().getTaxonomyCode() );
362                     }
363                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getCommonName() ) )
364                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getCommonName() ) ) ) {
365                         return n1.getNodeData().getTaxonomy().getCommonName().toLowerCase()
366                                 .compareTo( n2.getNodeData().getTaxonomy().getCommonName().toLowerCase() );
367                     }
368                 }
369                 if ( n1.getNodeData().isHasSequence() && n2.getNodeData().isHasSequence() ) {
370                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getName() ) )
371                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getName() ) ) ) {
372                         return n1.getNodeData().getSequence().getName().toLowerCase()
373                                 .compareTo( n2.getNodeData().getSequence().getName().toLowerCase() );
374                     }
375                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getSymbol() ) )
376                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getSymbol() ) ) ) {
377                         return n1.getNodeData().getSequence().getSymbol()
378                                 .compareTo( n2.getNodeData().getSequence().getSymbol() );
379                     }
380                     if ( ( n1.getNodeData().getSequence().getAccession() != null )
381                             && ( n2.getNodeData().getSequence().getAccession() != null )
382                             && !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getAccession().getValue() )
383                             && !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getAccession().getValue() ) ) {
384                         return n1.getNodeData().getSequence().getAccession().getValue()
385                                 .compareTo( n2.getNodeData().getSequence().getAccession().getValue() );
386                     }
387                 }
388                 return 0;
389             }
390         }
391         Comparator<PhylogenyNode> c;
392         switch ( pri ) {
393             case SEQUENCE:
394                 c = new PhylogenyNodeSortSequencePriority();
395                 break;
396             case NODE_NAME:
397                 c = new PhylogenyNodeSortNodeNamePriority();
398                 break;
399             default:
400                 c = new PhylogenyNodeSortTaxonomyPriority();
401         }
402         final List<PhylogenyNode> descs = node.getDescendants();
403         Collections.sort( descs, c );
404         int i = 0;
405         for( final PhylogenyNode desc : descs ) {
406             node.setChildNode( i++, desc );
407         }
408     }
409
410     final static public void transferNodeNameToField( final Phylogeny phy,
411                                                       final PhylogenyMethods.PhylogenyNodeField field,
412                                                       final boolean external_only ) throws PhyloXmlDataFormatException {
413         final PhylogenyNodeIterator it = phy.iteratorPostorder();
414         while ( it.hasNext() ) {
415             final PhylogenyNode n = it.next();
416             if ( external_only && n.isInternal() ) {
417                 continue;
418             }
419             final String name = n.getName().trim();
420             if ( !ForesterUtil.isEmpty( name ) ) {
421                 switch ( field ) {
422                     case TAXONOMY_CODE:
423                         n.setName( "" );
424                         setTaxonomyCode( n, name );
425                         break;
426                     case TAXONOMY_SCIENTIFIC_NAME:
427                         n.setName( "" );
428                         if ( !n.getNodeData().isHasTaxonomy() ) {
429                             n.getNodeData().setTaxonomy( new Taxonomy() );
430                         }
431                         n.getNodeData().getTaxonomy().setScientificName( name );
432                         break;
433                     case TAXONOMY_COMMON_NAME:
434                         n.setName( "" );
435                         if ( !n.getNodeData().isHasTaxonomy() ) {
436                             n.getNodeData().setTaxonomy( new Taxonomy() );
437                         }
438                         n.getNodeData().getTaxonomy().setCommonName( name );
439                         break;
440                     case SEQUENCE_SYMBOL:
441                         n.setName( "" );
442                         if ( !n.getNodeData().isHasSequence() ) {
443                             n.getNodeData().setSequence( new Sequence() );
444                         }
445                         n.getNodeData().getSequence().setSymbol( name );
446                         break;
447                     case SEQUENCE_NAME:
448                         n.setName( "" );
449                         if ( !n.getNodeData().isHasSequence() ) {
450                             n.getNodeData().setSequence( new Sequence() );
451                         }
452                         n.getNodeData().getSequence().setName( name );
453                         break;
454                     case TAXONOMY_ID_UNIPROT_1: {
455                         if ( !n.getNodeData().isHasTaxonomy() ) {
456                             n.getNodeData().setTaxonomy( new Taxonomy() );
457                         }
458                         String id = name;
459                         final int i = name.indexOf( '_' );
460                         if ( i > 0 ) {
461                             id = name.substring( 0, i );
462                         }
463                         else {
464                             n.setName( "" );
465                         }
466                         n.getNodeData().getTaxonomy()
467                                 .setIdentifier( new Identifier( id, PhyloXmlUtil.UNIPROT_TAX_PROVIDER ) );
468                         break;
469                     }
470                     case TAXONOMY_ID_UNIPROT_2: {
471                         if ( !n.getNodeData().isHasTaxonomy() ) {
472                             n.getNodeData().setTaxonomy( new Taxonomy() );
473                         }
474                         String id = name;
475                         final int i = name.indexOf( '_' );
476                         if ( i > 0 ) {
477                             id = name.substring( i + 1, name.length() );
478                         }
479                         else {
480                             n.setName( "" );
481                         }
482                         n.getNodeData().getTaxonomy()
483                                 .setIdentifier( new Identifier( id, PhyloXmlUtil.UNIPROT_TAX_PROVIDER ) );
484                         break;
485                     }
486                     case TAXONOMY_ID: {
487                         if ( !n.getNodeData().isHasTaxonomy() ) {
488                             n.getNodeData().setTaxonomy( new Taxonomy() );
489                         }
490                         n.getNodeData().getTaxonomy().setIdentifier( new Identifier( name ) );
491                         break;
492                     }
493                 }
494             }
495         }
496     }
497
498     static double addPhylogenyDistances( final double a, final double b ) {
499         if ( ( a >= 0.0 ) && ( b >= 0.0 ) ) {
500             return a + b;
501         }
502         else if ( a >= 0.0 ) {
503             return a;
504         }
505         else if ( b >= 0.0 ) {
506             return b;
507         }
508         return PhylogenyDataUtil.BRANCH_LENGTH_DEFAULT;
509     }
510
511     // Helper for getUltraParalogousNodes( PhylogenyNode ).
512     public static boolean areAllChildrenDuplications( final PhylogenyNode n ) {
513         if ( n.isExternal() ) {
514             return false;
515         }
516         else {
517             if ( n.isDuplication() ) {
518                 //FIXME test me!
519                 for( final PhylogenyNode desc : n.getDescendants() ) {
520                     if ( !areAllChildrenDuplications( desc ) ) {
521                         return false;
522                     }
523                 }
524                 return true;
525             }
526             else {
527                 return false;
528             }
529         }
530     }
531
532     public static int calculateDepth( final PhylogenyNode node ) {
533         PhylogenyNode n = node;
534         int steps = 0;
535         while ( !n.isRoot() ) {
536             steps++;
537             n = n.getParent();
538         }
539         return steps;
540     }
541
542     public static double calculateDistanceToRoot( final PhylogenyNode node ) {
543         PhylogenyNode n = node;
544         double d = 0.0;
545         while ( !n.isRoot() ) {
546             if ( n.getDistanceToParent() > 0.0 ) {
547                 d += n.getDistanceToParent();
548             }
549             n = n.getParent();
550         }
551         return d;
552     }
553
554     public static short calculateMaxBranchesToLeaf( final PhylogenyNode node ) {
555         if ( node.isExternal() ) {
556             return 0;
557         }
558         short max = 0;
559         for( PhylogenyNode d : node.getAllExternalDescendants() ) {
560             short steps = 0;
561             while ( d != node ) {
562                 if ( d.isCollapse() ) {
563                     steps = 0;
564                 }
565                 else {
566                     steps++;
567                 }
568                 d = d.getParent();
569             }
570             if ( max < steps ) {
571                 max = steps;
572             }
573         }
574         return max;
575     }
576
577     public static int calculateMaxDepth( final Phylogeny phy ) {
578         int max = 0;
579         for( final PhylogenyNodeIterator iter = phy.iteratorExternalForward(); iter.hasNext(); ) {
580             final PhylogenyNode node = iter.next();
581             final int steps = calculateDepth( node );
582             if ( steps > max ) {
583                 max = steps;
584             }
585         }
586         return max;
587     }
588
589     public static double calculateMaxDistanceToRoot( final Phylogeny phy ) {
590         double max = 0.0;
591         for( final PhylogenyNodeIterator iter = phy.iteratorExternalForward(); iter.hasNext(); ) {
592             final PhylogenyNode node = iter.next();
593             final double d = calculateDistanceToRoot( node );
594             if ( d > max ) {
595                 max = d;
596             }
597         }
598         return max;
599     }
600
601     public static int countNumberOfPolytomies( final Phylogeny phy ) {
602         int count = 0;
603         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
604             final PhylogenyNode n = iter.next();
605             if ( !n.isExternal() && ( n.getNumberOfDescendants() > 2 ) ) {
606                 count++;
607             }
608         }
609         return count;
610     }
611
612     public static DescriptiveStatistics calculatNumberOfDescendantsPerNodeStatistics( final Phylogeny phy ) {
613         final DescriptiveStatistics stats = new BasicDescriptiveStatistics();
614         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
615             final PhylogenyNode n = iter.next();
616             if ( !n.isExternal() ) {
617                 stats.addValue( n.getNumberOfDescendants() );
618             }
619         }
620         return stats;
621     }
622
623     public static DescriptiveStatistics calculatBranchLengthStatistics( final Phylogeny phy ) {
624         final DescriptiveStatistics stats = new BasicDescriptiveStatistics();
625         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
626             final PhylogenyNode n = iter.next();
627             if ( !n.isRoot() && ( n.getDistanceToParent() >= 0.0 ) ) {
628                 stats.addValue( n.getDistanceToParent() );
629             }
630         }
631         return stats;
632     }
633
634     public static List<DescriptiveStatistics> calculatConfidenceStatistics( final Phylogeny phy ) {
635         final List<DescriptiveStatistics> stats = new ArrayList<DescriptiveStatistics>();
636         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
637             final PhylogenyNode n = iter.next();
638             if ( !n.isExternal() && !n.isRoot() ) {
639                 if ( n.getBranchData().isHasConfidences() ) {
640                     for( int i = 0; i < n.getBranchData().getConfidences().size(); ++i ) {
641                         final Confidence c = n.getBranchData().getConfidences().get( i );
642                         if ( ( i > ( stats.size() - 1 ) ) || ( stats.get( i ) == null ) ) {
643                             stats.add( i, new BasicDescriptiveStatistics() );
644                         }
645                         if ( !ForesterUtil.isEmpty( c.getType() ) ) {
646                             if ( !ForesterUtil.isEmpty( stats.get( i ).getDescription() ) ) {
647                                 if ( !stats.get( i ).getDescription().equalsIgnoreCase( c.getType() ) ) {
648                                     throw new IllegalArgumentException( "support values in node [" + n.toString()
649                                             + "] appear inconsistently ordered" );
650                                 }
651                             }
652                             stats.get( i ).setDescription( c.getType() );
653                         }
654                         stats.get( i ).addValue( ( ( c != null ) && ( c.getValue() >= 0 ) ) ? c.getValue() : 0 );
655                     }
656                 }
657             }
658         }
659         return stats;
660     }
661
662     /**
663      * Returns the set of distinct taxonomies of
664      * all external nodes of node.
665      * If at least one the external nodes has no taxonomy,
666      * null is returned.
667      * 
668      */
669     public static Set<Taxonomy> obtainDistinctTaxonomies( final PhylogenyNode node ) {
670         final List<PhylogenyNode> descs = node.getAllExternalDescendants();
671         final Set<Taxonomy> tax_set = new HashSet<Taxonomy>();
672         for( final PhylogenyNode n : descs ) {
673             if ( !n.getNodeData().isHasTaxonomy() || n.getNodeData().getTaxonomy().isEmpty() ) {
674                 return null;
675             }
676             tax_set.add( n.getNodeData().getTaxonomy() );
677         }
678         return tax_set;
679     }
680
681     /**
682      * Returns a map of distinct taxonomies of
683      * all external nodes of node.
684      * If at least one of the external nodes has no taxonomy,
685      * null is returned.
686      * 
687      */
688     public static SortedMap<Taxonomy, Integer> obtainDistinctTaxonomyCounts( final PhylogenyNode node ) {
689         final List<PhylogenyNode> descs = node.getAllExternalDescendants();
690         final SortedMap<Taxonomy, Integer> tax_map = new TreeMap<Taxonomy, Integer>();
691         for( final PhylogenyNode n : descs ) {
692             if ( !n.getNodeData().isHasTaxonomy() || n.getNodeData().getTaxonomy().isEmpty() ) {
693                 return null;
694             }
695             final Taxonomy t = n.getNodeData().getTaxonomy();
696             if ( tax_map.containsKey( t ) ) {
697                 tax_map.put( t, tax_map.get( t ) + 1 );
698             }
699             else {
700                 tax_map.put( t, 1 );
701             }
702         }
703         return tax_map;
704     }
705
706     public static int calculateNumberOfExternalNodesWithoutTaxonomy( final PhylogenyNode node ) {
707         final List<PhylogenyNode> descs = node.getAllExternalDescendants();
708         int x = 0;
709         for( final PhylogenyNode n : descs ) {
710             if ( !n.getNodeData().isHasTaxonomy() || n.getNodeData().getTaxonomy().isEmpty() ) {
711                 x++;
712             }
713         }
714         return x;
715     }
716
717     /**
718      * Deep copies the phylogeny originating from this node.
719      */
720     static PhylogenyNode copySubTree( final PhylogenyNode source ) {
721         if ( source == null ) {
722             return null;
723         }
724         else {
725             final PhylogenyNode newnode = source.copyNodeData();
726             if ( !source.isExternal() ) {
727                 for( int i = 0; i < source.getNumberOfDescendants(); ++i ) {
728                     newnode.setChildNode( i, PhylogenyMethods.copySubTree( source.getChildNode( i ) ) );
729                 }
730             }
731             return newnode;
732         }
733     }
734
735     /**
736      * Shallow copies the phylogeny originating from this node.
737      */
738     static PhylogenyNode copySubTreeShallow( final PhylogenyNode source ) {
739         if ( source == null ) {
740             return null;
741         }
742         else {
743             final PhylogenyNode newnode = source.copyNodeDataShallow();
744             if ( !source.isExternal() ) {
745                 for( int i = 0; i < source.getNumberOfDescendants(); ++i ) {
746                     newnode.setChildNode( i, PhylogenyMethods.copySubTreeShallow( source.getChildNode( i ) ) );
747                 }
748             }
749             return newnode;
750         }
751     }
752
753     public static void deleteExternalNodesNegativeSelection( final Set<Integer> to_delete, final Phylogeny phy ) {
754         phy.hashIDs();
755         for( final Integer id : to_delete ) {
756             phy.deleteSubtree( phy.getNode( id ), true );
757         }
758         phy.hashIDs();
759     }
760
761     public static void deleteExternalNodesNegativeSelection( final String[] node_names_to_delete, final Phylogeny p )
762             throws IllegalArgumentException {
763         for( int i = 0; i < node_names_to_delete.length; ++i ) {
764             if ( ForesterUtil.isEmpty( node_names_to_delete[ i ] ) ) {
765                 continue;
766             }
767             List<PhylogenyNode> nodes = null;
768             nodes = p.getNodes( node_names_to_delete[ i ] );
769             final Iterator<PhylogenyNode> it = nodes.iterator();
770             while ( it.hasNext() ) {
771                 final PhylogenyNode n = it.next();
772                 if ( !n.isExternal() ) {
773                     throw new IllegalArgumentException( "attempt to delete non-external node \""
774                             + node_names_to_delete[ i ] + "\"" );
775                 }
776                 p.deleteSubtree( n, true );
777             }
778         }
779     }
780
781     public static void deleteExternalNodesPositiveSelection( final Set<Taxonomy> species_to_keep, final Phylogeny phy ) {
782         //   final Set<Integer> to_delete = new HashSet<Integer>();
783         for( final PhylogenyNodeIterator it = phy.iteratorExternalForward(); it.hasNext(); ) {
784             final PhylogenyNode n = it.next();
785             if ( n.getNodeData().isHasTaxonomy() ) {
786                 if ( !species_to_keep.contains( n.getNodeData().getTaxonomy() ) ) {
787                     //to_delete.add( n.getNodeId() );
788                     phy.deleteSubtree( n, true );
789                 }
790             }
791             else {
792                 throw new IllegalArgumentException( "node " + n.getId() + " has no taxonomic data" );
793             }
794         }
795         phy.hashIDs();
796         phy.externalNodesHaveChanged();
797         //  deleteExternalNodesNegativeSelection( to_delete, phy );
798     }
799
800     public static List<String> deleteExternalNodesPositiveSelection( final String[] node_names_to_keep,
801                                                                      final Phylogeny p ) {
802         final PhylogenyNodeIterator it = p.iteratorExternalForward();
803         final String[] to_delete = new String[ p.getNumberOfExternalNodes() ];
804         int i = 0;
805         Arrays.sort( node_names_to_keep );
806         while ( it.hasNext() ) {
807             final String curent_name = it.next().getName();
808             if ( Arrays.binarySearch( node_names_to_keep, curent_name ) < 0 ) {
809                 to_delete[ i++ ] = curent_name;
810             }
811         }
812         PhylogenyMethods.deleteExternalNodesNegativeSelection( to_delete, p );
813         final List<String> deleted = new ArrayList<String>();
814         for( final String n : to_delete ) {
815             if ( !ForesterUtil.isEmpty( n ) ) {
816                 deleted.add( n );
817             }
818         }
819         return deleted;
820     }
821
822     public static List<PhylogenyNode> getAllDescendants( final PhylogenyNode node ) {
823         final List<PhylogenyNode> descs = new ArrayList<PhylogenyNode>();
824         final Set<Integer> encountered = new HashSet<Integer>();
825         if ( !node.isExternal() ) {
826             final List<PhylogenyNode> exts = node.getAllExternalDescendants();
827             for( PhylogenyNode current : exts ) {
828                 descs.add( current );
829                 while ( current != node ) {
830                     current = current.getParent();
831                     if ( encountered.contains( current.getId() ) ) {
832                         continue;
833                     }
834                     descs.add( current );
835                     encountered.add( current.getId() );
836                 }
837             }
838         }
839         return descs;
840     }
841
842     /**
843      * 
844      * Convenience method
845      * 
846      * @param node
847      * @return
848      */
849     public static Color getBranchColorValue( final PhylogenyNode node ) {
850         if ( node.getBranchData().getBranchColor() == null ) {
851             return null;
852         }
853         return node.getBranchData().getBranchColor().getValue();
854     }
855
856     /**
857      * Convenience method
858      */
859     public static double getBranchWidthValue( final PhylogenyNode node ) {
860         if ( !node.getBranchData().isHasBranchWidth() ) {
861             return BranchWidth.BRANCH_WIDTH_DEFAULT_VALUE;
862         }
863         return node.getBranchData().getBranchWidth().getValue();
864     }
865
866     /**
867      * Convenience method
868      */
869     public static double getConfidenceValue( final PhylogenyNode node ) {
870         if ( !node.getBranchData().isHasConfidences() ) {
871             return Confidence.CONFIDENCE_DEFAULT_VALUE;
872         }
873         return node.getBranchData().getConfidence( 0 ).getValue();
874     }
875
876     /**
877      * Convenience method
878      */
879     public static double[] getConfidenceValuesAsArray( final PhylogenyNode node ) {
880         if ( !node.getBranchData().isHasConfidences() ) {
881             return new double[ 0 ];
882         }
883         final double[] values = new double[ node.getBranchData().getConfidences().size() ];
884         int i = 0;
885         for( final Confidence c : node.getBranchData().getConfidences() ) {
886             values[ i++ ] = c.getValue();
887         }
888         return values;
889     }
890
891     /**
892      * Calculates the distance between PhylogenyNodes n1 and n2.
893      * PRECONDITION: n1 is a descendant of n2.
894      * 
895      * @param n1
896      *            a descendant of n2
897      * @param n2
898      * @return distance between n1 and n2
899      */
900     private static double getDistance( PhylogenyNode n1, final PhylogenyNode n2 ) {
901         double d = 0.0;
902         while ( n1 != n2 ) {
903             if ( n1.getDistanceToParent() > 0.0 ) {
904                 d += n1.getDistanceToParent();
905             }
906             n1 = n1.getParent();
907         }
908         return d;
909     }
910
911     /**
912      * Returns taxonomy t if all external descendants have 
913      * the same taxonomy t, null otherwise.
914      * 
915      */
916     public static Taxonomy getExternalDescendantsTaxonomy( final PhylogenyNode node ) {
917         final List<PhylogenyNode> descs = node.getAllExternalDescendants();
918         Taxonomy tax = null;
919         for( final PhylogenyNode n : descs ) {
920             if ( !n.getNodeData().isHasTaxonomy() || n.getNodeData().getTaxonomy().isEmpty() ) {
921                 return null;
922             }
923             else if ( tax == null ) {
924                 tax = n.getNodeData().getTaxonomy();
925             }
926             else if ( n.getNodeData().getTaxonomy().isEmpty() || !tax.isEqual( n.getNodeData().getTaxonomy() ) ) {
927                 return null;
928             }
929         }
930         return tax;
931     }
932
933     public static PhylogenyNode getFurthestDescendant( final PhylogenyNode node ) {
934         final List<PhylogenyNode> children = node.getAllExternalDescendants();
935         PhylogenyNode farthest = null;
936         double longest = -Double.MAX_VALUE;
937         for( final PhylogenyNode child : children ) {
938             if ( PhylogenyMethods.getDistance( child, node ) > longest ) {
939                 farthest = child;
940                 longest = PhylogenyMethods.getDistance( child, node );
941             }
942         }
943         return farthest;
944     }
945
946     public static PhylogenyMethods getInstance() {
947         if ( PhylogenyMethods._instance == null ) {
948             PhylogenyMethods._instance = new PhylogenyMethods();
949         }
950         return PhylogenyMethods._instance;
951     }
952
953     /**
954      * Returns the largest confidence value found on phy.
955      */
956     static public double getMaximumConfidenceValue( final Phylogeny phy ) {
957         double max = -Double.MAX_VALUE;
958         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
959             final double s = PhylogenyMethods.getConfidenceValue( iter.next() );
960             if ( ( s != Confidence.CONFIDENCE_DEFAULT_VALUE ) && ( s > max ) ) {
961                 max = s;
962             }
963         }
964         return max;
965     }
966
967     static public int getMinimumDescendentsPerInternalNodes( final Phylogeny phy ) {
968         int min = Integer.MAX_VALUE;
969         int d = 0;
970         PhylogenyNode n;
971         for( final PhylogenyNodeIterator it = phy.iteratorPreorder(); it.hasNext(); ) {
972             n = it.next();
973             if ( n.isInternal() ) {
974                 d = n.getNumberOfDescendants();
975                 if ( d < min ) {
976                     min = d;
977                 }
978             }
979         }
980         return min;
981     }
982
983     /**
984      * Convenience method for display purposes.
985      * Not intended for algorithms.
986      */
987     public static String getSpecies( final PhylogenyNode node ) {
988         if ( !node.getNodeData().isHasTaxonomy() ) {
989             return "";
990         }
991         else if ( !ForesterUtil.isEmpty( node.getNodeData().getTaxonomy().getScientificName() ) ) {
992             return node.getNodeData().getTaxonomy().getScientificName();
993         }
994         if ( !ForesterUtil.isEmpty( node.getNodeData().getTaxonomy().getTaxonomyCode() ) ) {
995             return node.getNodeData().getTaxonomy().getTaxonomyCode();
996         }
997         else {
998             return node.getNodeData().getTaxonomy().getCommonName();
999         }
1000     }
1001
1002     /**
1003      * Returns all Nodes which are connected to external PhylogenyNode n of this
1004      * Phylogeny by a path containing only speciation events. We call these
1005      * "super orthologs". Nodes are returned as Vector of references to Nodes.
1006      * <p>
1007      * PRECONDITION: This tree must be binary and rooted, and speciation -
1008      * duplication need to be assigned for each of its internal Nodes.
1009      * <p>
1010      * Returns null if this Phylogeny is empty or if n is internal.
1011      * @param n
1012      *            external PhylogenyNode whose strictly speciation related Nodes
1013      *            are to be returned
1014      * @return Vector of references to all strictly speciation related Nodes of
1015      *         PhylogenyNode n of this Phylogeny, null if this Phylogeny is
1016      *         empty or if n is internal
1017      */
1018     public static List<PhylogenyNode> getSuperOrthologousNodes( final PhylogenyNode n ) {
1019         // FIXME
1020         PhylogenyNode node = n, deepest = null;
1021         final List<PhylogenyNode> v = new ArrayList<PhylogenyNode>();
1022         if ( !node.isExternal() ) {
1023             return null;
1024         }
1025         while ( !node.isRoot() && !node.getParent().isDuplication() ) {
1026             node = node.getParent();
1027         }
1028         deepest = node;
1029         deepest.setIndicatorsToZero();
1030         do {
1031             if ( !node.isExternal() ) {
1032                 if ( node.getIndicator() == 0 ) {
1033                     node.setIndicator( ( byte ) 1 );
1034                     if ( !node.isDuplication() ) {
1035                         node = node.getChildNode1();
1036                     }
1037                 }
1038                 if ( node.getIndicator() == 1 ) {
1039                     node.setIndicator( ( byte ) 2 );
1040                     if ( !node.isDuplication() ) {
1041                         node = node.getChildNode2();
1042                     }
1043                 }
1044                 if ( ( node != deepest ) && ( node.getIndicator() == 2 ) ) {
1045                     node = node.getParent();
1046                 }
1047             }
1048             else {
1049                 if ( node != n ) {
1050                     v.add( node );
1051                 }
1052                 if ( node != deepest ) {
1053                     node = node.getParent();
1054                 }
1055                 else {
1056                     node.setIndicator( ( byte ) 2 );
1057                 }
1058             }
1059         } while ( ( node != deepest ) || ( deepest.getIndicator() != 2 ) );
1060         return v;
1061     }
1062
1063     /**
1064      * Convenience method for display purposes.
1065      * Not intended for algorithms.
1066      */
1067     public static String getTaxonomyIdentifier( final PhylogenyNode node ) {
1068         if ( !node.getNodeData().isHasTaxonomy() || ( node.getNodeData().getTaxonomy().getIdentifier() == null ) ) {
1069             return "";
1070         }
1071         return node.getNodeData().getTaxonomy().getIdentifier().getValue();
1072     }
1073
1074     /**
1075      * Returns all Nodes which are connected to external PhylogenyNode n of this
1076      * Phylogeny by a path containing, and leading to, only duplication events.
1077      * We call these "ultra paralogs". Nodes are returned as Vector of
1078      * references to Nodes.
1079      * <p>
1080      * PRECONDITION: This tree must be binary and rooted, and speciation -
1081      * duplication need to be assigned for each of its internal Nodes.
1082      * <p>
1083      * Returns null if this Phylogeny is empty or if n is internal.
1084      * <p>
1085      * (Last modified: 10/06/01)
1086      * 
1087      * @param n
1088      *            external PhylogenyNode whose ultra paralogs are to be returned
1089      * @return Vector of references to all ultra paralogs of PhylogenyNode n of
1090      *         this Phylogeny, null if this Phylogeny is empty or if n is
1091      *         internal
1092      */
1093     public static List<PhylogenyNode> getUltraParalogousNodes( final PhylogenyNode n ) {
1094         // FIXME test me
1095         PhylogenyNode node = n;
1096         if ( !node.isExternal() ) {
1097             return null;
1098         }
1099         while ( !node.isRoot() && node.getParent().isDuplication() && areAllChildrenDuplications( node.getParent() ) ) {
1100             node = node.getParent();
1101         }
1102         final List<PhylogenyNode> nodes = node.getAllExternalDescendants();
1103         nodes.remove( n );
1104         return nodes;
1105     }
1106
1107     public static String inferCommonPartOfScientificNameOfDescendants( final PhylogenyNode node ) {
1108         final List<PhylogenyNode> descs = node.getDescendants();
1109         String sn = null;
1110         for( final PhylogenyNode n : descs ) {
1111             if ( !n.getNodeData().isHasTaxonomy()
1112                     || ForesterUtil.isEmpty( n.getNodeData().getTaxonomy().getScientificName() ) ) {
1113                 return null;
1114             }
1115             else if ( sn == null ) {
1116                 sn = n.getNodeData().getTaxonomy().getScientificName().trim();
1117             }
1118             else {
1119                 String sn_current = n.getNodeData().getTaxonomy().getScientificName().trim();
1120                 if ( !sn.equals( sn_current ) ) {
1121                     boolean overlap = false;
1122                     while ( ( sn.indexOf( ' ' ) >= 0 ) || ( sn_current.indexOf( ' ' ) >= 0 ) ) {
1123                         if ( ForesterUtil.countChars( sn, ' ' ) > ForesterUtil.countChars( sn_current, ' ' ) ) {
1124                             sn = sn.substring( 0, sn.lastIndexOf( ' ' ) ).trim();
1125                         }
1126                         else {
1127                             sn_current = sn_current.substring( 0, sn_current.lastIndexOf( ' ' ) ).trim();
1128                         }
1129                         if ( sn.equals( sn_current ) ) {
1130                             overlap = true;
1131                             break;
1132                         }
1133                     }
1134                     if ( !overlap ) {
1135                         return null;
1136                     }
1137                 }
1138             }
1139         }
1140         return sn;
1141     }
1142
1143     public static boolean isHasExternalDescendant( final PhylogenyNode node ) {
1144         for( int i = 0; i < node.getNumberOfDescendants(); ++i ) {
1145             if ( node.getChildNode( i ).isExternal() ) {
1146                 return true;
1147             }
1148         }
1149         return false;
1150     }
1151
1152     /*
1153      * This is case insensitive.
1154      * 
1155      */
1156     public synchronized static boolean isTaxonomyHasIdentifierOfGivenProvider( final Taxonomy tax,
1157                                                                                final String[] providers ) {
1158         if ( ( tax.getIdentifier() != null ) && !ForesterUtil.isEmpty( tax.getIdentifier().getProvider() ) ) {
1159             final String my_tax_prov = tax.getIdentifier().getProvider();
1160             for( final String provider : providers ) {
1161                 if ( provider.equalsIgnoreCase( my_tax_prov ) ) {
1162                     return true;
1163                 }
1164             }
1165             return false;
1166         }
1167         else {
1168             return false;
1169         }
1170     }
1171
1172     private static boolean match( final String s,
1173                                   final String query,
1174                                   final boolean case_sensitive,
1175                                   final boolean partial ) {
1176         if ( ForesterUtil.isEmpty( s ) || ForesterUtil.isEmpty( query ) ) {
1177             return false;
1178         }
1179         String my_s = s.trim();
1180         String my_query = query.trim();
1181         if ( !case_sensitive ) {
1182             my_s = my_s.toLowerCase();
1183             my_query = my_query.toLowerCase();
1184         }
1185         if ( partial ) {
1186             return my_s.indexOf( my_query ) >= 0;
1187         }
1188         else {
1189             return my_s.equals( my_query );
1190         }
1191     }
1192
1193     public static void midpointRoot( final Phylogeny phylogeny ) {
1194         if ( phylogeny.getNumberOfExternalNodes() < 2 ) {
1195             return;
1196         }
1197         final PhylogenyMethods methods = getInstance();
1198         final double farthest_d = methods.calculateFurthestDistance( phylogeny );
1199         final PhylogenyNode f1 = methods.getFarthestNode1();
1200         final PhylogenyNode f2 = methods.getFarthestNode2();
1201         if ( farthest_d <= 0.0 ) {
1202             return;
1203         }
1204         double x = farthest_d / 2.0;
1205         PhylogenyNode n = f1;
1206         if ( PhylogenyMethods.getDistance( f1, phylogeny.getRoot() ) < PhylogenyMethods.getDistance( f2, phylogeny
1207                 .getRoot() ) ) {
1208             n = f2;
1209         }
1210         while ( ( x > n.getDistanceToParent() ) && !n.isRoot() ) {
1211             x -= ( n.getDistanceToParent() > 0 ? n.getDistanceToParent() : 0 );
1212             n = n.getParent();
1213         }
1214         phylogeny.reRoot( n, x );
1215         phylogeny.recalculateNumberOfExternalDescendants( true );
1216         final PhylogenyNode a = getFurthestDescendant( phylogeny.getRoot().getChildNode1() );
1217         final PhylogenyNode b = getFurthestDescendant( phylogeny.getRoot().getChildNode2() );
1218         final double da = getDistance( a, phylogeny.getRoot() );
1219         final double db = getDistance( b, phylogeny.getRoot() );
1220         if ( Math.abs( da - db ) > 0.000001 ) {
1221             throw new FailedConditionCheckException( "this should not have happened: midpoint rooting failed:  da="
1222                     + da + ",  db=" + db + ",  diff=" + Math.abs( da - db ) );
1223         }
1224     }
1225
1226     public static void normalizeBootstrapValues( final Phylogeny phylogeny,
1227                                                  final double max_bootstrap_value,
1228                                                  final double max_normalized_value ) {
1229         for( final PhylogenyNodeIterator iter = phylogeny.iteratorPreorder(); iter.hasNext(); ) {
1230             final PhylogenyNode node = iter.next();
1231             if ( node.isInternal() ) {
1232                 final double confidence = getConfidenceValue( node );
1233                 if ( confidence != Confidence.CONFIDENCE_DEFAULT_VALUE ) {
1234                     if ( confidence >= max_bootstrap_value ) {
1235                         setBootstrapConfidence( node, max_normalized_value );
1236                     }
1237                     else {
1238                         setBootstrapConfidence( node, ( confidence * max_normalized_value ) / max_bootstrap_value );
1239                     }
1240                 }
1241             }
1242         }
1243     }
1244
1245     public static List<PhylogenyNode> obtainAllNodesAsList( final Phylogeny phy ) {
1246         final List<PhylogenyNode> nodes = new ArrayList<PhylogenyNode>();
1247         if ( phy.isEmpty() ) {
1248             return nodes;
1249         }
1250         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
1251             nodes.add( iter.next() );
1252         }
1253         return nodes;
1254     }
1255
1256     public static void postorderBranchColorAveragingExternalNodeBased( final Phylogeny p ) {
1257         for( final PhylogenyNodeIterator iter = p.iteratorPostorder(); iter.hasNext(); ) {
1258             final PhylogenyNode node = iter.next();
1259             double red = 0.0;
1260             double green = 0.0;
1261             double blue = 0.0;
1262             int n = 0;
1263             if ( node.isInternal() ) {
1264                 //for( final PhylogenyNodeIterator iterator = node.iterateChildNodesForward(); iterator.hasNext(); ) {
1265                 for( int i = 0; i < node.getNumberOfDescendants(); ++i ) {
1266                     final PhylogenyNode child_node = node.getChildNode( i );
1267                     final Color child_color = getBranchColorValue( child_node );
1268                     if ( child_color != null ) {
1269                         ++n;
1270                         red += child_color.getRed();
1271                         green += child_color.getGreen();
1272                         blue += child_color.getBlue();
1273                     }
1274                 }
1275                 setBranchColorValue( node,
1276                                      new Color( ForesterUtil.roundToInt( red / n ),
1277                                                 ForesterUtil.roundToInt( green / n ),
1278                                                 ForesterUtil.roundToInt( blue / n ) ) );
1279             }
1280         }
1281     }
1282
1283     public static void removeNode( final PhylogenyNode remove_me, final Phylogeny phylogeny ) {
1284         if ( remove_me.isRoot() ) {
1285             throw new IllegalArgumentException( "ill advised attempt to remove root node" );
1286         }
1287         if ( remove_me.isExternal() ) {
1288             phylogeny.deleteSubtree( remove_me, false );
1289         }
1290         else {
1291             final PhylogenyNode parent = remove_me.getParent();
1292             final List<PhylogenyNode> descs = remove_me.getDescendants();
1293             parent.removeChildNode( remove_me );
1294             for( final PhylogenyNode desc : descs ) {
1295                 parent.addAsChild( desc );
1296                 desc.setDistanceToParent( addPhylogenyDistances( remove_me.getDistanceToParent(),
1297                                                                  desc.getDistanceToParent() ) );
1298             }
1299             remove_me.setParent( null );
1300             phylogeny.setIdHash( null );
1301             phylogeny.externalNodesHaveChanged();
1302         }
1303     }
1304
1305     public static List<PhylogenyNode> searchData( final String query,
1306                                                   final Phylogeny phy,
1307                                                   final boolean case_sensitive,
1308                                                   final boolean partial ) {
1309         final List<PhylogenyNode> nodes = new ArrayList<PhylogenyNode>();
1310         if ( phy.isEmpty() || ( query == null ) ) {
1311             return nodes;
1312         }
1313         if ( ForesterUtil.isEmpty( query ) ) {
1314             return nodes;
1315         }
1316         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
1317             final PhylogenyNode node = iter.next();
1318             boolean match = false;
1319             if ( match( node.getName(), query, case_sensitive, partial ) ) {
1320                 match = true;
1321             }
1322             else if ( node.getNodeData().isHasTaxonomy()
1323                     && match( node.getNodeData().getTaxonomy().getTaxonomyCode(), query, case_sensitive, partial ) ) {
1324                 match = true;
1325             }
1326             else if ( node.getNodeData().isHasTaxonomy()
1327                     && match( node.getNodeData().getTaxonomy().getCommonName(), query, case_sensitive, partial ) ) {
1328                 match = true;
1329             }
1330             else if ( node.getNodeData().isHasTaxonomy()
1331                     && match( node.getNodeData().getTaxonomy().getScientificName(), query, case_sensitive, partial ) ) {
1332                 match = true;
1333             }
1334             else if ( node.getNodeData().isHasTaxonomy()
1335                     && ( node.getNodeData().getTaxonomy().getIdentifier() != null )
1336                     && match( node.getNodeData().getTaxonomy().getIdentifier().getValue(),
1337                               query,
1338                               case_sensitive,
1339                               partial ) ) {
1340                 match = true;
1341             }
1342             else if ( node.getNodeData().isHasTaxonomy() && !node.getNodeData().getTaxonomy().getSynonyms().isEmpty() ) {
1343                 final List<String> syns = node.getNodeData().getTaxonomy().getSynonyms();
1344                 I: for( final String syn : syns ) {
1345                     if ( match( syn, query, case_sensitive, partial ) ) {
1346                         match = true;
1347                         break I;
1348                     }
1349                 }
1350             }
1351             if ( !match && node.getNodeData().isHasSequence()
1352                     && match( node.getNodeData().getSequence().getName(), query, case_sensitive, partial ) ) {
1353                 match = true;
1354             }
1355             if ( !match && node.getNodeData().isHasSequence()
1356                     && match( node.getNodeData().getSequence().getSymbol(), query, case_sensitive, partial ) ) {
1357                 match = true;
1358             }
1359             if ( !match
1360                     && node.getNodeData().isHasSequence()
1361                     && ( node.getNodeData().getSequence().getAccession() != null )
1362                     && match( node.getNodeData().getSequence().getAccession().getValue(),
1363                               query,
1364                               case_sensitive,
1365                               partial ) ) {
1366                 match = true;
1367             }
1368             if ( !match && node.getNodeData().isHasSequence()
1369                     && ( node.getNodeData().getSequence().getDomainArchitecture() != null ) ) {
1370                 final DomainArchitecture da = node.getNodeData().getSequence().getDomainArchitecture();
1371                 I: for( int i = 0; i < da.getNumberOfDomains(); ++i ) {
1372                     if ( match( da.getDomain( i ).getName(), query, case_sensitive, partial ) ) {
1373                         match = true;
1374                         break I;
1375                     }
1376                 }
1377             }
1378             if ( !match && ( node.getNodeData().getBinaryCharacters() != null ) ) {
1379                 Iterator<String> it = node.getNodeData().getBinaryCharacters().getPresentCharacters().iterator();
1380                 I: while ( it.hasNext() ) {
1381                     if ( match( it.next(), query, case_sensitive, partial ) ) {
1382                         match = true;
1383                         break I;
1384                     }
1385                 }
1386                 it = node.getNodeData().getBinaryCharacters().getGainedCharacters().iterator();
1387                 I: while ( it.hasNext() ) {
1388                     if ( match( it.next(), query, case_sensitive, partial ) ) {
1389                         match = true;
1390                         break I;
1391                     }
1392                 }
1393             }
1394             if ( match ) {
1395                 nodes.add( node );
1396             }
1397         }
1398         return nodes;
1399     }
1400
1401     public static List<PhylogenyNode> searchDataLogicalAnd( final String[] queries,
1402                                                             final Phylogeny phy,
1403                                                             final boolean case_sensitive,
1404                                                             final boolean partial ) {
1405         final List<PhylogenyNode> nodes = new ArrayList<PhylogenyNode>();
1406         if ( phy.isEmpty() || ( queries == null ) || ( queries.length < 1 ) ) {
1407             return nodes;
1408         }
1409         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
1410             final PhylogenyNode node = iter.next();
1411             boolean all_matched = true;
1412             for( final String query : queries ) {
1413                 boolean match = false;
1414                 if ( ForesterUtil.isEmpty( query ) ) {
1415                     continue;
1416                 }
1417                 if ( match( node.getName(), query, case_sensitive, partial ) ) {
1418                     match = true;
1419                 }
1420                 else if ( node.getNodeData().isHasTaxonomy()
1421                         && match( node.getNodeData().getTaxonomy().getTaxonomyCode(), query, case_sensitive, partial ) ) {
1422                     match = true;
1423                 }
1424                 else if ( node.getNodeData().isHasTaxonomy()
1425                         && match( node.getNodeData().getTaxonomy().getCommonName(), query, case_sensitive, partial ) ) {
1426                     match = true;
1427                 }
1428                 else if ( node.getNodeData().isHasTaxonomy()
1429                         && match( node.getNodeData().getTaxonomy().getScientificName(), query, case_sensitive, partial ) ) {
1430                     match = true;
1431                 }
1432                 else if ( node.getNodeData().isHasTaxonomy()
1433                         && ( node.getNodeData().getTaxonomy().getIdentifier() != null )
1434                         && match( node.getNodeData().getTaxonomy().getIdentifier().getValue(),
1435                                   query,
1436                                   case_sensitive,
1437                                   partial ) ) {
1438                     match = true;
1439                 }
1440                 else if ( node.getNodeData().isHasTaxonomy()
1441                         && !node.getNodeData().getTaxonomy().getSynonyms().isEmpty() ) {
1442                     final List<String> syns = node.getNodeData().getTaxonomy().getSynonyms();
1443                     I: for( final String syn : syns ) {
1444                         if ( match( syn, query, case_sensitive, partial ) ) {
1445                             match = true;
1446                             break I;
1447                         }
1448                     }
1449                 }
1450                 if ( !match && node.getNodeData().isHasSequence()
1451                         && match( node.getNodeData().getSequence().getName(), query, case_sensitive, partial ) ) {
1452                     match = true;
1453                 }
1454                 if ( !match && node.getNodeData().isHasSequence()
1455                         && match( node.getNodeData().getSequence().getSymbol(), query, case_sensitive, partial ) ) {
1456                     match = true;
1457                 }
1458                 if ( !match
1459                         && node.getNodeData().isHasSequence()
1460                         && ( node.getNodeData().getSequence().getAccession() != null )
1461                         && match( node.getNodeData().getSequence().getAccession().getValue(),
1462                                   query,
1463                                   case_sensitive,
1464                                   partial ) ) {
1465                     match = true;
1466                 }
1467                 if ( !match && node.getNodeData().isHasSequence()
1468                         && ( node.getNodeData().getSequence().getDomainArchitecture() != null ) ) {
1469                     final DomainArchitecture da = node.getNodeData().getSequence().getDomainArchitecture();
1470                     I: for( int i = 0; i < da.getNumberOfDomains(); ++i ) {
1471                         if ( match( da.getDomain( i ).getName(), query, case_sensitive, partial ) ) {
1472                             match = true;
1473                             break I;
1474                         }
1475                     }
1476                 }
1477                 if ( !match && ( node.getNodeData().getBinaryCharacters() != null ) ) {
1478                     Iterator<String> it = node.getNodeData().getBinaryCharacters().getPresentCharacters().iterator();
1479                     I: while ( it.hasNext() ) {
1480                         if ( match( it.next(), query, case_sensitive, partial ) ) {
1481                             match = true;
1482                             break I;
1483                         }
1484                     }
1485                     it = node.getNodeData().getBinaryCharacters().getGainedCharacters().iterator();
1486                     I: while ( it.hasNext() ) {
1487                         if ( match( it.next(), query, case_sensitive, partial ) ) {
1488                             match = true;
1489                             break I;
1490                         }
1491                     }
1492                     //                    final String[] bcp_ary = node.getNodeData().getBinaryCharacters()
1493                     //                            .getPresentCharactersAsStringArray();
1494                     //                    I: for( final String bc : bcp_ary ) {
1495                     //                        if ( match( bc, query, case_sensitive, partial ) ) {
1496                     //                            match = true;
1497                     //                            break I;
1498                     //                        }
1499                     //                    }
1500                     //                    final String[] bcg_ary = node.getNodeData().getBinaryCharacters()
1501                     //                            .getGainedCharactersAsStringArray();
1502                     //                    I: for( final String bc : bcg_ary ) {
1503                     //                        if ( match( bc, query, case_sensitive, partial ) ) {
1504                     //                            match = true;
1505                     //                            break I;
1506                     //                        }
1507                     //                    }
1508                 }
1509                 if ( !match ) {
1510                     all_matched = false;
1511                     break;
1512                 }
1513             }
1514             if ( all_matched ) {
1515                 nodes.add( node );
1516             }
1517         }
1518         return nodes;
1519     }
1520
1521     /**
1522      * Convenience method.
1523      * Sets value for the first confidence value (created if not present, values overwritten otherwise). 
1524      */
1525     public static void setBootstrapConfidence( final PhylogenyNode node, final double bootstrap_confidence_value ) {
1526         setConfidence( node, bootstrap_confidence_value, "bootstrap" );
1527     }
1528
1529     public static void setBranchColorValue( final PhylogenyNode node, final Color color ) {
1530         if ( node.getBranchData().getBranchColor() == null ) {
1531             node.getBranchData().setBranchColor( new BranchColor() );
1532         }
1533         node.getBranchData().getBranchColor().setValue( color );
1534     }
1535
1536     /**
1537      * Convenience method
1538      */
1539     public static void setBranchWidthValue( final PhylogenyNode node, final double branch_width_value ) {
1540         node.getBranchData().setBranchWidth( new BranchWidth( branch_width_value ) );
1541     }
1542
1543     /**
1544      * Convenience method.
1545      * Sets value for the first confidence value (created if not present, values overwritten otherwise). 
1546      */
1547     public static void setConfidence( final PhylogenyNode node, final double confidence_value ) {
1548         setConfidence( node, confidence_value, "" );
1549     }
1550
1551     /**
1552      * Convenience method.
1553      * Sets value for the first confidence value (created if not present, values overwritten otherwise). 
1554      */
1555     public static void setConfidence( final PhylogenyNode node, final double confidence_value, final String type ) {
1556         Confidence c = null;
1557         if ( node.getBranchData().getNumberOfConfidences() > 0 ) {
1558             c = node.getBranchData().getConfidence( 0 );
1559         }
1560         else {
1561             c = new Confidence();
1562             node.getBranchData().addConfidence( c );
1563         }
1564         c.setType( type );
1565         c.setValue( confidence_value );
1566     }
1567
1568     public static void setScientificName( final PhylogenyNode node, final String scientific_name ) {
1569         if ( !node.getNodeData().isHasTaxonomy() ) {
1570             node.getNodeData().setTaxonomy( new Taxonomy() );
1571         }
1572         node.getNodeData().getTaxonomy().setScientificName( scientific_name );
1573     }
1574
1575     /**
1576      * Convenience method to set the taxonomy code of a phylogeny node.
1577      * 
1578      * 
1579      * @param node
1580      * @param taxonomy_code
1581      * @throws PhyloXmlDataFormatException 
1582      */
1583     public static void setTaxonomyCode( final PhylogenyNode node, final String taxonomy_code )
1584             throws PhyloXmlDataFormatException {
1585         if ( !node.getNodeData().isHasTaxonomy() ) {
1586             node.getNodeData().setTaxonomy( new Taxonomy() );
1587         }
1588         node.getNodeData().getTaxonomy().setTaxonomyCode( taxonomy_code );
1589     }
1590
1591     /**
1592      * Removes from Phylogeny to_be_stripped all external Nodes which are
1593      * associated with a species NOT found in Phylogeny reference.
1594      * 
1595      * @param reference
1596      *            a reference Phylogeny
1597      * @param to_be_stripped
1598      *            Phylogeny to be stripped
1599      * @return number of external nodes removed from to_be_stripped
1600      */
1601     public static int taxonomyBasedDeletionOfExternalNodes( final Phylogeny reference, final Phylogeny to_be_stripped ) {
1602         final Set<String> ref_ext_taxo = new HashSet<String>();
1603         final ArrayList<PhylogenyNode> nodes_to_delete = new ArrayList<PhylogenyNode>();
1604         for( final PhylogenyNodeIterator it = reference.iteratorExternalForward(); it.hasNext(); ) {
1605             ref_ext_taxo.add( getSpecies( it.next() ) );
1606         }
1607         for( final PhylogenyNodeIterator it = to_be_stripped.iteratorExternalForward(); it.hasNext(); ) {
1608             final PhylogenyNode n = it.next();
1609             if ( !ref_ext_taxo.contains( getSpecies( n ) ) ) {
1610                 nodes_to_delete.add( n );
1611             }
1612         }
1613         for( final PhylogenyNode phylogenyNode : nodes_to_delete ) {
1614             to_be_stripped.deleteSubtree( phylogenyNode, true );
1615         }
1616         return nodes_to_delete.size();
1617     }
1618
1619     /**
1620      * Arranges the order of childern for each node of this Phylogeny in such a
1621      * way that either the branch with more children is on top (right) or on
1622      * bottom (left), dependent on the value of boolean order.
1623      * 
1624      * @param order
1625      *            decides in which direction to order
1626      * @param pri 
1627      */
1628     public static void orderAppearance( final PhylogenyNode n,
1629                                         final boolean order,
1630                                         final boolean order_ext_alphabetically,
1631                                         final DESCENDANT_SORT_PRIORITY pri ) {
1632         if ( n.isExternal() ) {
1633             return;
1634         }
1635         else {
1636             PhylogenyNode temp = null;
1637             if ( ( n.getNumberOfDescendants() == 2 )
1638                     && ( n.getChildNode1().getNumberOfExternalNodes() != n.getChildNode2().getNumberOfExternalNodes() )
1639                     && ( ( n.getChildNode1().getNumberOfExternalNodes() < n.getChildNode2().getNumberOfExternalNodes() ) == order ) ) {
1640                 temp = n.getChildNode1();
1641                 n.setChild1( n.getChildNode2() );
1642                 n.setChild2( temp );
1643             }
1644             else if ( order_ext_alphabetically ) {
1645                 boolean all_ext = true;
1646                 for( final PhylogenyNode i : n.getDescendants() ) {
1647                     if ( !i.isExternal() ) {
1648                         all_ext = false;
1649                         break;
1650                     }
1651                 }
1652                 if ( all_ext ) {
1653                     PhylogenyMethods.sortNodeDescendents( n, pri );
1654                 }
1655             }
1656             for( int i = 0; i < n.getNumberOfDescendants(); ++i ) {
1657                 orderAppearance( n.getChildNode( i ), order, order_ext_alphabetically, pri );
1658             }
1659         }
1660     }
1661
1662     public static enum PhylogenyNodeField {
1663         CLADE_NAME,
1664         TAXONOMY_CODE,
1665         TAXONOMY_SCIENTIFIC_NAME,
1666         TAXONOMY_COMMON_NAME,
1667         SEQUENCE_SYMBOL,
1668         SEQUENCE_NAME,
1669         TAXONOMY_ID_UNIPROT_1,
1670         TAXONOMY_ID_UNIPROT_2,
1671         TAXONOMY_ID;
1672     }
1673
1674     public static enum TAXONOMY_EXTRACTION {
1675         NO, YES, PFAM_STYLE_ONLY;
1676     }
1677
1678     public static enum DESCENDANT_SORT_PRIORITY {
1679         TAXONOMY, SEQUENCE, NODE_NAME;
1680     }
1681 }