remove single node root
[jalview.git] / forester / java / src / org / forester / phylogeny / PhylogenyMethods.java
1 // $Id:
2 // FORESTER -- software libraries and applications
3 // for evolutionary biology research and applications.
4 //
5 // Copyright (C) 2008-2009 Christian M. Zmasek
6 // Copyright (C) 2008-2009 Burnham Institute for Medical Research
7 // All rights reserved
8 //
9 // This library is free software; you can redistribute it and/or
10 // modify it under the terms of the GNU Lesser General Public
11 // License as published by the Free Software Foundation; either
12 // version 2.1 of the License, or (at your option) any later version.
13 //
14 // This library is distributed in the hope that it will be useful,
15 // but WITHOUT ANY WARRANTY; without even the implied warranty of
16 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
17 // Lesser General Public License for more details.
18 //
19 // You should have received a copy of the GNU Lesser General Public
20 // License along with this library; if not, write to the Free Software
21 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA
22 //
23 // Contact: phylosoft @ gmail . com
24 // WWW: www.phylosoft.org/forester
25
26 package org.forester.phylogeny;
27
28 import java.awt.Color;
29 import java.io.File;
30 import java.io.IOException;
31 import java.util.ArrayList;
32 import java.util.Arrays;
33 import java.util.Collections;
34 import java.util.Comparator;
35 import java.util.HashMap;
36 import java.util.HashSet;
37 import java.util.Iterator;
38 import java.util.List;
39 import java.util.Set;
40 import java.util.SortedMap;
41 import java.util.TreeMap;
42
43 import org.forester.io.parsers.PhylogenyParser;
44 import org.forester.io.parsers.phyloxml.PhyloXmlDataFormatException;
45 import org.forester.io.parsers.phyloxml.PhyloXmlUtil;
46 import org.forester.io.parsers.util.PhylogenyParserException;
47 import org.forester.phylogeny.data.BranchColor;
48 import org.forester.phylogeny.data.BranchWidth;
49 import org.forester.phylogeny.data.Confidence;
50 import org.forester.phylogeny.data.DomainArchitecture;
51 import org.forester.phylogeny.data.Event;
52 import org.forester.phylogeny.data.Identifier;
53 import org.forester.phylogeny.data.PhylogenyDataUtil;
54 import org.forester.phylogeny.data.Sequence;
55 import org.forester.phylogeny.data.Taxonomy;
56 import org.forester.phylogeny.factories.ParserBasedPhylogenyFactory;
57 import org.forester.phylogeny.factories.PhylogenyFactory;
58 import org.forester.phylogeny.iterators.PhylogenyNodeIterator;
59 import org.forester.util.BasicDescriptiveStatistics;
60 import org.forester.util.DescriptiveStatistics;
61 import org.forester.util.ForesterUtil;
62
63 public class PhylogenyMethods {
64
65     //private static PhylogenyMethods _instance   = null;
66     //private final PhylogenyNode     _farthest_1 = null;
67     //private final PhylogenyNode     _farthest_2 = null;
68     private PhylogenyMethods() {
69         // Hidden constructor.
70     }
71
72     //    public double calculateFurthestDistance( final Phylogeny phylogeny ) {
73     //        if ( phylogeny.getNumberOfExternalNodes() < 2 ) {
74     //            return 0.0;
75     //        }
76     //        _farthest_1 = null;
77     //        _farthest_2 = null;
78     //        PhylogenyNode node_1 = null;
79     //        PhylogenyNode node_2 = null;
80     //        double farthest_d = -Double.MAX_VALUE;
81     //        final PhylogenyMethods methods = PhylogenyMethods.getInstance();
82     //        final List<PhylogenyNode> ext_nodes = phylogeny.getRoot().getAllExternalDescendants();
83     //        for( int i = 1; i < ext_nodes.size(); ++i ) {
84     //            for( int j = 0; j < i; ++j ) {
85     //                final double d = methods.calculateDistance( ext_nodes.get( i ), ext_nodes.get( j ) );
86     //                if ( d < 0.0 ) {
87     //                    throw new RuntimeException( "distance cannot be negative" );
88     //                }
89     //                if ( d > farthest_d ) {
90     //                    farthest_d = d;
91     //                    node_1 = ext_nodes.get( i );
92     //                    node_2 = ext_nodes.get( j );
93     //                }
94     //            }
95     //        }
96     //        _farthest_1 = node_1;
97     //        _farthest_2 = node_2;
98     //        return farthest_d;
99     //    }
100     @Override
101     public Object clone() throws CloneNotSupportedException {
102         throw new CloneNotSupportedException();
103     }
104
105     // public PhylogenyNode getFarthestNode1() {
106     //      return _farthest_1;
107     // }
108     //  public PhylogenyNode getFarthestNode2() {
109     //      return _farthest_2;
110     //  }
111     public static DescriptiveStatistics calculatBranchLengthStatistics( final Phylogeny phy ) {
112         final DescriptiveStatistics stats = new BasicDescriptiveStatistics();
113         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
114             final PhylogenyNode n = iter.next();
115             if ( !n.isRoot() && ( n.getDistanceToParent() >= 0.0 ) ) {
116                 stats.addValue( n.getDistanceToParent() );
117             }
118         }
119         return stats;
120     }
121
122     public static List<DescriptiveStatistics> calculatConfidenceStatistics( final Phylogeny phy ) {
123         final List<DescriptiveStatistics> stats = new ArrayList<DescriptiveStatistics>();
124         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
125             final PhylogenyNode n = iter.next();
126             if ( !n.isExternal() && !n.isRoot() ) {
127                 if ( n.getBranchData().isHasConfidences() ) {
128                     for( int i = 0; i < n.getBranchData().getConfidences().size(); ++i ) {
129                         final Confidence c = n.getBranchData().getConfidences().get( i );
130                         if ( ( i > ( stats.size() - 1 ) ) || ( stats.get( i ) == null ) ) {
131                             stats.add( i, new BasicDescriptiveStatistics() );
132                         }
133                         if ( !ForesterUtil.isEmpty( c.getType() ) ) {
134                             if ( !ForesterUtil.isEmpty( stats.get( i ).getDescription() ) ) {
135                                 if ( !stats.get( i ).getDescription().equalsIgnoreCase( c.getType() ) ) {
136                                     throw new IllegalArgumentException( "support values in node [" + n.toString()
137                                             + "] appear inconsistently ordered" );
138                                 }
139                             }
140                             stats.get( i ).setDescription( c.getType() );
141                         }
142                         stats.get( i ).addValue( ( ( c != null ) && ( c.getValue() >= 0 ) ) ? c.getValue() : 0 );
143                     }
144                 }
145             }
146         }
147         return stats;
148     }
149
150     /**
151      * Calculates the distance between PhylogenyNodes node1 and node2.
152      * 
153      * 
154      * @param node1
155      * @param node2
156      * @return distance between node1 and node2
157      */
158     public static double calculateDistance( final PhylogenyNode node1, final PhylogenyNode node2 ) {
159         final PhylogenyNode lca = calculateLCA( node1, node2 );
160         final PhylogenyNode n1 = node1;
161         final PhylogenyNode n2 = node2;
162         return ( PhylogenyMethods.getDistance( n1, lca ) + PhylogenyMethods.getDistance( n2, lca ) );
163     }
164
165     /**
166      * Returns the LCA of PhylogenyNodes node1 and node2.
167      * 
168      * 
169      * @param node1
170      * @param node2
171      * @return LCA of node1 and node2
172      */
173     public final static PhylogenyNode calculateLCA( PhylogenyNode node1, PhylogenyNode node2 ) {
174         if ( node1 == null ) {
175             throw new IllegalArgumentException( "first argument (node) is null" );
176         }
177         if ( node2 == null ) {
178             throw new IllegalArgumentException( "second argument (node) is null" );
179         }
180         if ( node1 == node2 ) {
181             return node1;
182         }
183         if ( ( node1.getParent() == node2.getParent() ) ) {
184             return node1.getParent();
185         }
186         int depth1 = node1.calculateDepth();
187         int depth2 = node2.calculateDepth();
188         while ( ( depth1 > -1 ) && ( depth2 > -1 ) ) {
189             if ( depth1 > depth2 ) {
190                 node1 = node1.getParent();
191                 depth1--;
192             }
193             else if ( depth2 > depth1 ) {
194                 node2 = node2.getParent();
195                 depth2--;
196             }
197             else {
198                 if ( node1 == node2 ) {
199                     return node1;
200                 }
201                 node1 = node1.getParent();
202                 node2 = node2.getParent();
203                 depth1--;
204                 depth2--;
205             }
206         }
207         throw new IllegalArgumentException( "illegal attempt to calculate LCA of two nodes which do not share a common root" );
208     }
209
210     /**
211      * Returns the LCA of PhylogenyNodes node1 and node2.
212      * Precondition: ids are in pre-order (or level-order).
213      * 
214      * 
215      * @param node1
216      * @param node2
217      * @return LCA of node1 and node2
218      */
219     public final static PhylogenyNode calculateLCAonTreeWithIdsInPreOrder( PhylogenyNode node1, PhylogenyNode node2 ) {
220         if ( node1 == null ) {
221             throw new IllegalArgumentException( "first argument (node) is null" );
222         }
223         if ( node2 == null ) {
224             throw new IllegalArgumentException( "second argument (node) is null" );
225         }
226         while ( node1 != node2 ) {
227             if ( node1.getId() > node2.getId() ) {
228                 node1 = node1.getParent();
229             }
230             else {
231                 node2 = node2.getParent();
232             }
233         }
234         return node1;
235     }
236
237     public static short calculateMaxBranchesToLeaf( final PhylogenyNode node ) {
238         if ( node.isExternal() ) {
239             return 0;
240         }
241         short max = 0;
242         for( PhylogenyNode d : node.getAllExternalDescendants() ) {
243             short steps = 0;
244             while ( d != node ) {
245                 if ( d.isCollapse() ) {
246                     steps = 0;
247                 }
248                 else {
249                     steps++;
250                 }
251                 d = d.getParent();
252             }
253             if ( max < steps ) {
254                 max = steps;
255             }
256         }
257         return max;
258     }
259
260     public static int calculateMaxDepth( final Phylogeny phy ) {
261         int max = 0;
262         for( final PhylogenyNodeIterator iter = phy.iteratorExternalForward(); iter.hasNext(); ) {
263             final PhylogenyNode node = iter.next();
264             final int steps = node.calculateDepth();
265             if ( steps > max ) {
266                 max = steps;
267             }
268         }
269         return max;
270     }
271
272     public static double calculateMaxDistanceToRoot( final Phylogeny phy ) {
273         double max = 0.0;
274         for( final PhylogenyNodeIterator iter = phy.iteratorExternalForward(); iter.hasNext(); ) {
275             final PhylogenyNode node = iter.next();
276             final double d = node.calculateDistanceToRoot();
277             if ( d > max ) {
278                 max = d;
279             }
280         }
281         return max;
282     }
283
284     public static int calculateNumberOfExternalNodesWithoutTaxonomy( final PhylogenyNode node ) {
285         final List<PhylogenyNode> descs = node.getAllExternalDescendants();
286         int x = 0;
287         for( final PhylogenyNode n : descs ) {
288             if ( !n.getNodeData().isHasTaxonomy() || n.getNodeData().getTaxonomy().isEmpty() ) {
289                 x++;
290             }
291         }
292         return x;
293     }
294
295     public static DescriptiveStatistics calculatNumberOfDescendantsPerNodeStatistics( final Phylogeny phy ) {
296         final DescriptiveStatistics stats = new BasicDescriptiveStatistics();
297         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
298             final PhylogenyNode n = iter.next();
299             if ( !n.isExternal() ) {
300                 stats.addValue( n.getNumberOfDescendants() );
301             }
302         }
303         return stats;
304     }
305
306     public static int countNumberOfOneDescendantNodes( final Phylogeny phy ) {
307         int count = 0;
308         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
309             final PhylogenyNode n = iter.next();
310             if ( !n.isExternal() && ( n.getNumberOfDescendants() == 1 ) ) {
311                 count++;
312             }
313         }
314         return count;
315     }
316
317     public static int countNumberOfPolytomies( final Phylogeny phy ) {
318         int count = 0;
319         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
320             final PhylogenyNode n = iter.next();
321             if ( !n.isExternal() && ( n.getNumberOfDescendants() > 2 ) ) {
322                 count++;
323             }
324         }
325         return count;
326     }
327
328     public static final HashMap<String, PhylogenyNode> createNameToExtNodeMap( final Phylogeny phy ) {
329         final HashMap<String, PhylogenyNode> nodes = new HashMap<String, PhylogenyNode>();
330         for( final PhylogenyNodeIterator iter = phy.iteratorExternalForward(); iter.hasNext(); ) {
331             final PhylogenyNode n = iter.next();
332             nodes.put( n.getName(), n );
333         }
334         return nodes;
335     }
336
337     public static void deleteExternalNodesNegativeSelection( final Set<Integer> to_delete, final Phylogeny phy ) {
338         phy.clearHashIdToNodeMap();
339         for( final Integer id : to_delete ) {
340             phy.deleteSubtree( phy.getNode( id ), true );
341         }
342         phy.clearHashIdToNodeMap();
343         phy.externalNodesHaveChanged();
344     }
345
346     public static void deleteExternalNodesNegativeSelection( final String[] node_names_to_delete, final Phylogeny p )
347             throws IllegalArgumentException {
348         for( final String element : node_names_to_delete ) {
349             if ( ForesterUtil.isEmpty( element ) ) {
350                 continue;
351             }
352             List<PhylogenyNode> nodes = null;
353             nodes = p.getNodes( element );
354             final Iterator<PhylogenyNode> it = nodes.iterator();
355             while ( it.hasNext() ) {
356                 final PhylogenyNode n = it.next();
357                 if ( !n.isExternal() ) {
358                     throw new IllegalArgumentException( "attempt to delete non-external node \"" + element + "\"" );
359                 }
360                 p.deleteSubtree( n, true );
361             }
362         }
363         p.clearHashIdToNodeMap();
364         p.externalNodesHaveChanged();
365     }
366
367     public static void deleteExternalNodesPositiveSelection( final Set<Taxonomy> species_to_keep, final Phylogeny phy ) {
368         //   final Set<Integer> to_delete = new HashSet<Integer>();
369         for( final PhylogenyNodeIterator it = phy.iteratorExternalForward(); it.hasNext(); ) {
370             final PhylogenyNode n = it.next();
371             if ( n.getNodeData().isHasTaxonomy() ) {
372                 if ( !species_to_keep.contains( n.getNodeData().getTaxonomy() ) ) {
373                     //to_delete.add( n.getNodeId() );
374                     phy.deleteSubtree( n, true );
375                 }
376             }
377             else {
378                 throw new IllegalArgumentException( "node " + n.getId() + " has no taxonomic data" );
379             }
380         }
381         phy.clearHashIdToNodeMap();
382         phy.externalNodesHaveChanged();
383     }
384
385     public static List<String> deleteExternalNodesPositiveSelection( final String[] node_names_to_keep,
386                                                                      final Phylogeny p ) {
387         final PhylogenyNodeIterator it = p.iteratorExternalForward();
388         final String[] to_delete = new String[ p.getNumberOfExternalNodes() ];
389         int i = 0;
390         Arrays.sort( node_names_to_keep );
391         while ( it.hasNext() ) {
392             final String curent_name = it.next().getName();
393             if ( Arrays.binarySearch( node_names_to_keep, curent_name ) < 0 ) {
394                 to_delete[ i++ ] = curent_name;
395             }
396         }
397         PhylogenyMethods.deleteExternalNodesNegativeSelection( to_delete, p );
398         final List<String> deleted = new ArrayList<String>();
399         for( final String n : to_delete ) {
400             if ( !ForesterUtil.isEmpty( n ) ) {
401                 deleted.add( n );
402             }
403         }
404         return deleted;
405     }
406
407     final public static void deleteInternalNodesWithOnlyOneDescendent( final Phylogeny phy ) {
408         final ArrayList<PhylogenyNode> to_delete = new ArrayList<PhylogenyNode>();
409         for( final PhylogenyNodeIterator iter = phy.iteratorPostorder(); iter.hasNext(); ) {
410             final PhylogenyNode n = iter.next();
411             if ( ( !n.isExternal() ) && ( !n.isRoot() ) && ( n.getNumberOfDescendants() == 1 ) ) {
412                 to_delete.add( n );
413             }
414         }
415         for( final PhylogenyNode d : to_delete ) {
416             PhylogenyMethods.removeNode( d, phy );
417         }
418         phy.clearHashIdToNodeMap();
419         phy.externalNodesHaveChanged();
420     }
421
422     final public static void deleteNonOrthologousExternalNodes( final Phylogeny phy, final PhylogenyNode n ) {
423         if ( n.isInternal() ) {
424             throw new IllegalArgumentException( "node is not external" );
425         }
426         final ArrayList<PhylogenyNode> to_delete = new ArrayList<PhylogenyNode>();
427         for( final PhylogenyNodeIterator it = phy.iteratorExternalForward(); it.hasNext(); ) {
428             final PhylogenyNode i = it.next();
429             if ( !PhylogenyMethods.getEventAtLCA( n, i ).isSpeciation() ) {
430                 to_delete.add( i );
431             }
432         }
433         for( final PhylogenyNode d : to_delete ) {
434             phy.deleteSubtree( d, true );
435         }
436         phy.clearHashIdToNodeMap();
437         phy.externalNodesHaveChanged();
438     }
439
440     public static List<PhylogenyNode> getAllDescendants( final PhylogenyNode node ) {
441         final List<PhylogenyNode> descs = new ArrayList<PhylogenyNode>();
442         final Set<Integer> encountered = new HashSet<Integer>();
443         if ( !node.isExternal() ) {
444             final List<PhylogenyNode> exts = node.getAllExternalDescendants();
445             for( PhylogenyNode current : exts ) {
446                 descs.add( current );
447                 while ( current != node ) {
448                     current = current.getParent();
449                     if ( encountered.contains( current.getId() ) ) {
450                         continue;
451                     }
452                     descs.add( current );
453                     encountered.add( current.getId() );
454                 }
455             }
456         }
457         return descs;
458     }
459
460     /**
461      * 
462      * Convenience method
463      * 
464      * @param node
465      * @return
466      */
467     public static Color getBranchColorValue( final PhylogenyNode node ) {
468         if ( node.getBranchData().getBranchColor() == null ) {
469             return null;
470         }
471         return node.getBranchData().getBranchColor().getValue();
472     }
473
474     /**
475      * Convenience method
476      */
477     public static double getBranchWidthValue( final PhylogenyNode node ) {
478         if ( !node.getBranchData().isHasBranchWidth() ) {
479             return BranchWidth.BRANCH_WIDTH_DEFAULT_VALUE;
480         }
481         return node.getBranchData().getBranchWidth().getValue();
482     }
483
484     /**
485      * Convenience method
486      */
487     public static double getConfidenceValue( final PhylogenyNode node ) {
488         if ( !node.getBranchData().isHasConfidences() ) {
489             return Confidence.CONFIDENCE_DEFAULT_VALUE;
490         }
491         return node.getBranchData().getConfidence( 0 ).getValue();
492     }
493
494     /**
495      * Convenience method
496      */
497     public static double[] getConfidenceValuesAsArray( final PhylogenyNode node ) {
498         if ( !node.getBranchData().isHasConfidences() ) {
499             return new double[ 0 ];
500         }
501         final double[] values = new double[ node.getBranchData().getConfidences().size() ];
502         int i = 0;
503         for( final Confidence c : node.getBranchData().getConfidences() ) {
504             values[ i++ ] = c.getValue();
505         }
506         return values;
507     }
508
509     final public static Event getEventAtLCA( final PhylogenyNode n1, final PhylogenyNode n2 ) {
510         return calculateLCA( n1, n2 ).getNodeData().getEvent();
511     }
512
513     /**
514      * Returns taxonomy t if all external descendants have 
515      * the same taxonomy t, null otherwise.
516      * 
517      */
518     public static Taxonomy getExternalDescendantsTaxonomy( final PhylogenyNode node ) {
519         final List<PhylogenyNode> descs = node.getAllExternalDescendants();
520         Taxonomy tax = null;
521         for( final PhylogenyNode n : descs ) {
522             if ( !n.getNodeData().isHasTaxonomy() || n.getNodeData().getTaxonomy().isEmpty() ) {
523                 return null;
524             }
525             else if ( tax == null ) {
526                 tax = n.getNodeData().getTaxonomy();
527             }
528             else if ( n.getNodeData().getTaxonomy().isEmpty() || !tax.isEqual( n.getNodeData().getTaxonomy() ) ) {
529                 return null;
530             }
531         }
532         return tax;
533     }
534
535     public static PhylogenyNode getFurthestDescendant( final PhylogenyNode node ) {
536         final List<PhylogenyNode> children = node.getAllExternalDescendants();
537         PhylogenyNode farthest = null;
538         double longest = -Double.MAX_VALUE;
539         for( final PhylogenyNode child : children ) {
540             if ( PhylogenyMethods.getDistance( child, node ) > longest ) {
541                 farthest = child;
542                 longest = PhylogenyMethods.getDistance( child, node );
543             }
544         }
545         return farthest;
546     }
547
548     // public static PhylogenyMethods getInstance() {
549     //     if ( PhylogenyMethods._instance == null ) {
550     //         PhylogenyMethods._instance = new PhylogenyMethods();
551     //    }
552     //    return PhylogenyMethods._instance;
553     //  }
554     /**
555      * Returns the largest confidence value found on phy.
556      */
557     static public double getMaximumConfidenceValue( final Phylogeny phy ) {
558         double max = -Double.MAX_VALUE;
559         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
560             final double s = PhylogenyMethods.getConfidenceValue( iter.next() );
561             if ( ( s != Confidence.CONFIDENCE_DEFAULT_VALUE ) && ( s > max ) ) {
562                 max = s;
563             }
564         }
565         return max;
566     }
567
568     static public int getMinimumDescendentsPerInternalNodes( final Phylogeny phy ) {
569         int min = Integer.MAX_VALUE;
570         int d = 0;
571         PhylogenyNode n;
572         for( final PhylogenyNodeIterator it = phy.iteratorPreorder(); it.hasNext(); ) {
573             n = it.next();
574             if ( n.isInternal() ) {
575                 d = n.getNumberOfDescendants();
576                 if ( d < min ) {
577                     min = d;
578                 }
579             }
580         }
581         return min;
582     }
583
584     /**
585      * Convenience method for display purposes.
586      * Not intended for algorithms.
587      */
588     public static String getSpecies( final PhylogenyNode node ) {
589         if ( !node.getNodeData().isHasTaxonomy() ) {
590             return "";
591         }
592         else if ( !ForesterUtil.isEmpty( node.getNodeData().getTaxonomy().getScientificName() ) ) {
593             return node.getNodeData().getTaxonomy().getScientificName();
594         }
595         if ( !ForesterUtil.isEmpty( node.getNodeData().getTaxonomy().getTaxonomyCode() ) ) {
596             return node.getNodeData().getTaxonomy().getTaxonomyCode();
597         }
598         else {
599             return node.getNodeData().getTaxonomy().getCommonName();
600         }
601     }
602
603     /**
604      * Convenience method for display purposes.
605      * Not intended for algorithms.
606      */
607     public static String getTaxonomyIdentifier( final PhylogenyNode node ) {
608         if ( !node.getNodeData().isHasTaxonomy() || ( node.getNodeData().getTaxonomy().getIdentifier() == null ) ) {
609             return "";
610         }
611         return node.getNodeData().getTaxonomy().getIdentifier().getValue();
612     }
613
614     public final static boolean isAllDecendentsAreDuplications( final PhylogenyNode n ) {
615         if ( n.isExternal() ) {
616             return true;
617         }
618         else {
619             if ( n.isDuplication() ) {
620                 for( final PhylogenyNode desc : n.getDescendants() ) {
621                     if ( !isAllDecendentsAreDuplications( desc ) ) {
622                         return false;
623                     }
624                 }
625                 return true;
626             }
627             else {
628                 return false;
629             }
630         }
631     }
632
633     public static boolean isHasExternalDescendant( final PhylogenyNode node ) {
634         for( int i = 0; i < node.getNumberOfDescendants(); ++i ) {
635             if ( node.getChildNode( i ).isExternal() ) {
636                 return true;
637             }
638         }
639         return false;
640     }
641
642     /*
643      * This is case insensitive.
644      * 
645      */
646     public synchronized static boolean isTaxonomyHasIdentifierOfGivenProvider( final Taxonomy tax,
647                                                                                final String[] providers ) {
648         if ( ( tax.getIdentifier() != null ) && !ForesterUtil.isEmpty( tax.getIdentifier().getProvider() ) ) {
649             final String my_tax_prov = tax.getIdentifier().getProvider();
650             for( final String provider : providers ) {
651                 if ( provider.equalsIgnoreCase( my_tax_prov ) ) {
652                     return true;
653                 }
654             }
655             return false;
656         }
657         else {
658             return false;
659         }
660     }
661
662     public static void midpointRoot( final Phylogeny phylogeny ) {
663         if ( ( phylogeny.getNumberOfExternalNodes() < 2 ) || ( calculateMaxDistanceToRoot( phylogeny ) <= 0 ) ) {
664             return;
665         }
666         int counter = 0;
667         final int total_nodes = phylogeny.getNodeCount();
668         while ( true ) {
669             if ( ++counter > total_nodes ) {
670                 throw new RuntimeException( "this should not have happened: midpoint rooting does not converge" );
671             }
672             PhylogenyNode a = null;
673             double da = 0;
674             double db = 0;
675             for( int i = 0; i < phylogeny.getRoot().getNumberOfDescendants(); ++i ) {
676                 final PhylogenyNode f = getFurthestDescendant( phylogeny.getRoot().getChildNode( i ) );
677                 final double df = getDistance( f, phylogeny.getRoot() );
678                 if ( df > 0 ) {
679                     if ( df > da ) {
680                         db = da;
681                         da = df;
682                         a = f;
683                     }
684                     else if ( df > db ) {
685                         db = df;
686                     }
687                 }
688             }
689             final double diff = da - db;
690             if ( diff < 0.000001 ) {
691                 break;
692             }
693             double x = da - ( diff / 2.0 );
694             while ( ( x > a.getDistanceToParent() ) && !a.isRoot() ) {
695                 x -= ( a.getDistanceToParent() > 0 ? a.getDistanceToParent() : 0 );
696                 a = a.getParent();
697             }
698             phylogeny.reRoot( a, x );
699         }
700         phylogeny.recalculateNumberOfExternalDescendants( true );
701     }
702
703     public static void midpointRootOLD( final Phylogeny phylogeny ) {
704         //   if ( phylogeny.getNumberOfExternalNodes() < 2 ) {
705         //       return;
706         //   }
707         //    final PhylogenyMethods methods = getInstance();
708         //final double farthest_d = methods.calculateFurthestDistance( phylogeny );
709         // final PhylogenyNode f1 = methods.getFarthestNode1();
710         // final PhylogenyNode f2 = methods.getFarthestNode2();
711         //        if ( farthest_d <= 0.0 ) {
712         //            return;
713         //        }
714         //        double x = farthest_d / 2.0;
715         //        PhylogenyNode n = f1;
716         //        if ( PhylogenyMethods.getDistance( f1, phylogeny.getRoot() ) < PhylogenyMethods.getDistance( f2, phylogeny
717         //                .getRoot() ) ) {
718         //            n = f2;
719         //        }
720         //        while ( ( x > n.getDistanceToParent() ) && !n.isRoot() ) {
721         //            x -= ( n.getDistanceToParent() > 0 ? n.getDistanceToParent() : 0 );
722         //            n = n.getParent();
723         //        }
724         //        phylogeny.reRoot( n, x );
725         //        phylogeny.recalculateNumberOfExternalDescendants( true );
726         //        final PhylogenyNode a = getFurthestDescendant( phylogeny.getRoot().getChildNode1() );
727         //        final PhylogenyNode b = getFurthestDescendant( phylogeny.getRoot().getChildNode2() );
728         //        final double da = getDistance( a, phylogeny.getRoot() );
729         //        final double db = getDistance( b, phylogeny.getRoot() );
730         //        if ( Math.abs( da - db ) > 0.000001 ) {
731         //            throw new FailedConditionCheckException( "this should not have happened: midpoint rooting failed:  da="
732         //                    + da + ",  db=" + db + ",  diff=" + Math.abs( da - db ) );
733         //        }
734     }
735
736     public static void normalizeBootstrapValues( final Phylogeny phylogeny,
737                                                  final double max_bootstrap_value,
738                                                  final double max_normalized_value ) {
739         for( final PhylogenyNodeIterator iter = phylogeny.iteratorPreorder(); iter.hasNext(); ) {
740             final PhylogenyNode node = iter.next();
741             if ( node.isInternal() ) {
742                 final double confidence = getConfidenceValue( node );
743                 if ( confidence != Confidence.CONFIDENCE_DEFAULT_VALUE ) {
744                     if ( confidence >= max_bootstrap_value ) {
745                         setBootstrapConfidence( node, max_normalized_value );
746                     }
747                     else {
748                         setBootstrapConfidence( node, ( confidence * max_normalized_value ) / max_bootstrap_value );
749                     }
750                 }
751             }
752         }
753     }
754
755     public static List<PhylogenyNode> obtainAllNodesAsList( final Phylogeny phy ) {
756         final List<PhylogenyNode> nodes = new ArrayList<PhylogenyNode>();
757         if ( phy.isEmpty() ) {
758             return nodes;
759         }
760         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
761             nodes.add( iter.next() );
762         }
763         return nodes;
764     }
765
766     /**
767      * Returns the set of distinct taxonomies of
768      * all external nodes of node.
769      * If at least one the external nodes has no taxonomy,
770      * null is returned.
771      * 
772      */
773     public static Set<Taxonomy> obtainDistinctTaxonomies( final PhylogenyNode node ) {
774         final List<PhylogenyNode> descs = node.getAllExternalDescendants();
775         final Set<Taxonomy> tax_set = new HashSet<Taxonomy>();
776         for( final PhylogenyNode n : descs ) {
777             if ( !n.getNodeData().isHasTaxonomy() || n.getNodeData().getTaxonomy().isEmpty() ) {
778                 return null;
779             }
780             tax_set.add( n.getNodeData().getTaxonomy() );
781         }
782         return tax_set;
783     }
784
785     /**
786      * Returns a map of distinct taxonomies of
787      * all external nodes of node.
788      * If at least one of the external nodes has no taxonomy,
789      * null is returned.
790      * 
791      */
792     public static SortedMap<Taxonomy, Integer> obtainDistinctTaxonomyCounts( final PhylogenyNode node ) {
793         final List<PhylogenyNode> descs = node.getAllExternalDescendants();
794         final SortedMap<Taxonomy, Integer> tax_map = new TreeMap<Taxonomy, Integer>();
795         for( final PhylogenyNode n : descs ) {
796             if ( !n.getNodeData().isHasTaxonomy() || n.getNodeData().getTaxonomy().isEmpty() ) {
797                 return null;
798             }
799             final Taxonomy t = n.getNodeData().getTaxonomy();
800             if ( tax_map.containsKey( t ) ) {
801                 tax_map.put( t, tax_map.get( t ) + 1 );
802             }
803             else {
804                 tax_map.put( t, 1 );
805             }
806         }
807         return tax_map;
808     }
809
810     /**
811      * Arranges the order of childern for each node of this Phylogeny in such a
812      * way that either the branch with more children is on top (right) or on
813      * bottom (left), dependent on the value of boolean order.
814      * 
815      * @param order
816      *            decides in which direction to order
817      * @param pri 
818      */
819     public static void orderAppearance( final PhylogenyNode n,
820                                         final boolean order,
821                                         final boolean order_ext_alphabetically,
822                                         final DESCENDANT_SORT_PRIORITY pri ) {
823         if ( n.isExternal() ) {
824             return;
825         }
826         else {
827             PhylogenyNode temp = null;
828             if ( ( n.getNumberOfDescendants() == 2 )
829                     && ( n.getChildNode1().getNumberOfExternalNodes() != n.getChildNode2().getNumberOfExternalNodes() )
830                     && ( ( n.getChildNode1().getNumberOfExternalNodes() < n.getChildNode2().getNumberOfExternalNodes() ) == order ) ) {
831                 temp = n.getChildNode1();
832                 n.setChild1( n.getChildNode2() );
833                 n.setChild2( temp );
834             }
835             else if ( order_ext_alphabetically ) {
836                 boolean all_ext = true;
837                 for( final PhylogenyNode i : n.getDescendants() ) {
838                     if ( !i.isExternal() ) {
839                         all_ext = false;
840                         break;
841                     }
842                 }
843                 if ( all_ext ) {
844                     PhylogenyMethods.sortNodeDescendents( n, pri );
845                 }
846             }
847             for( int i = 0; i < n.getNumberOfDescendants(); ++i ) {
848                 orderAppearance( n.getChildNode( i ), order, order_ext_alphabetically, pri );
849             }
850         }
851     }
852
853     public static void postorderBranchColorAveragingExternalNodeBased( final Phylogeny p ) {
854         for( final PhylogenyNodeIterator iter = p.iteratorPostorder(); iter.hasNext(); ) {
855             final PhylogenyNode node = iter.next();
856             double red = 0.0;
857             double green = 0.0;
858             double blue = 0.0;
859             int n = 0;
860             if ( node.isInternal() ) {
861                 //for( final PhylogenyNodeIterator iterator = node.iterateChildNodesForward(); iterator.hasNext(); ) {
862                 for( int i = 0; i < node.getNumberOfDescendants(); ++i ) {
863                     final PhylogenyNode child_node = node.getChildNode( i );
864                     final Color child_color = getBranchColorValue( child_node );
865                     if ( child_color != null ) {
866                         ++n;
867                         red += child_color.getRed();
868                         green += child_color.getGreen();
869                         blue += child_color.getBlue();
870                     }
871                 }
872                 setBranchColorValue( node,
873                                      new Color( ForesterUtil.roundToInt( red / n ),
874                                                 ForesterUtil.roundToInt( green / n ),
875                                                 ForesterUtil.roundToInt( blue / n ) ) );
876             }
877         }
878     }
879
880     public static final void preOrderReId( final Phylogeny phy ) {
881         if ( phy.isEmpty() ) {
882             return;
883         }
884         phy.setIdToNodeMap( null );
885         int i = PhylogenyNode.getNodeCount();
886         for( final PhylogenyNodeIterator it = phy.iteratorPreorder(); it.hasNext(); ) {
887             it.next().setId( i++ );
888         }
889         PhylogenyNode.setNodeCount( i );
890     }
891
892     public final static Phylogeny[] readPhylogenies( final PhylogenyParser parser, final File file ) throws IOException {
893         final PhylogenyFactory factory = ParserBasedPhylogenyFactory.getInstance();
894         final Phylogeny[] trees = factory.create( file, parser );
895         if ( ( trees == null ) || ( trees.length == 0 ) ) {
896             throw new PhylogenyParserException( "Unable to parse phylogeny from file: " + file );
897         }
898         return trees;
899     }
900
901     public final static Phylogeny[] readPhylogenies( final PhylogenyParser parser, final List<File> files )
902             throws IOException {
903         final List<Phylogeny> tree_list = new ArrayList<Phylogeny>();
904         for( final File file : files ) {
905             final PhylogenyFactory factory = ParserBasedPhylogenyFactory.getInstance();
906             final Phylogeny[] trees = factory.create( file, parser );
907             if ( ( trees == null ) || ( trees.length == 0 ) ) {
908                 throw new PhylogenyParserException( "Unable to parse phylogeny from file: " + file );
909             }
910             tree_list.addAll( Arrays.asList( trees ) );
911         }
912         return tree_list.toArray( new Phylogeny[ tree_list.size() ] );
913     }
914
915     public static void removeNode( final PhylogenyNode remove_me, final Phylogeny phylogeny ) {
916         if ( remove_me.isRoot() ) {
917             if ( remove_me.getNumberOfDescendants() == 1 ) {
918                 final PhylogenyNode desc = remove_me.getDescendants().get( 0 );
919                 desc.setDistanceToParent( addPhylogenyDistances( remove_me.getDistanceToParent(),
920                                                                  desc.getDistanceToParent() ) );
921                 desc.setParent( null );
922                 phylogeny.setRoot( desc );
923                 phylogeny.clearHashIdToNodeMap();
924             }
925             else {
926                 throw new IllegalArgumentException( "attempt to remove a root node with more than one descendants" );
927             }
928         }
929         else if ( remove_me.isExternal() ) {
930             phylogeny.deleteSubtree( remove_me, false );
931             phylogeny.clearHashIdToNodeMap();
932             phylogeny.externalNodesHaveChanged();
933         }
934         else {
935             final PhylogenyNode parent = remove_me.getParent();
936             final List<PhylogenyNode> descs = remove_me.getDescendants();
937             parent.removeChildNode( remove_me );
938             for( final PhylogenyNode desc : descs ) {
939                 parent.addAsChild( desc );
940                 desc.setDistanceToParent( addPhylogenyDistances( remove_me.getDistanceToParent(),
941                                                                  desc.getDistanceToParent() ) );
942             }
943             remove_me.setParent( null );
944             phylogeny.clearHashIdToNodeMap();
945             phylogeny.externalNodesHaveChanged();
946         }
947     }
948
949     public static List<PhylogenyNode> searchData( final String query,
950                                                   final Phylogeny phy,
951                                                   final boolean case_sensitive,
952                                                   final boolean partial,
953                                                   final boolean search_domains ) {
954         final List<PhylogenyNode> nodes = new ArrayList<PhylogenyNode>();
955         if ( phy.isEmpty() || ( query == null ) ) {
956             return nodes;
957         }
958         if ( ForesterUtil.isEmpty( query ) ) {
959             return nodes;
960         }
961         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
962             final PhylogenyNode node = iter.next();
963             boolean match = false;
964             if ( match( node.getName(), query, case_sensitive, partial ) ) {
965                 match = true;
966             }
967             else if ( node.getNodeData().isHasTaxonomy()
968                     && match( node.getNodeData().getTaxonomy().getTaxonomyCode(), query, case_sensitive, partial ) ) {
969                 match = true;
970             }
971             else if ( node.getNodeData().isHasTaxonomy()
972                     && match( node.getNodeData().getTaxonomy().getCommonName(), query, case_sensitive, partial ) ) {
973                 match = true;
974             }
975             else if ( node.getNodeData().isHasTaxonomy()
976                     && match( node.getNodeData().getTaxonomy().getScientificName(), query, case_sensitive, partial ) ) {
977                 match = true;
978             }
979             else if ( node.getNodeData().isHasTaxonomy()
980                     && ( node.getNodeData().getTaxonomy().getIdentifier() != null )
981                     && match( node.getNodeData().getTaxonomy().getIdentifier().getValue(),
982                               query,
983                               case_sensitive,
984                               partial ) ) {
985                 match = true;
986             }
987             else if ( node.getNodeData().isHasTaxonomy() && !node.getNodeData().getTaxonomy().getSynonyms().isEmpty() ) {
988                 final List<String> syns = node.getNodeData().getTaxonomy().getSynonyms();
989                 I: for( final String syn : syns ) {
990                     if ( match( syn, query, case_sensitive, partial ) ) {
991                         match = true;
992                         break I;
993                     }
994                 }
995             }
996             if ( !match && node.getNodeData().isHasSequence()
997                     && match( node.getNodeData().getSequence().getName(), query, case_sensitive, partial ) ) {
998                 match = true;
999             }
1000             if ( !match && node.getNodeData().isHasSequence()
1001                     && match( node.getNodeData().getSequence().getSymbol(), query, case_sensitive, partial ) ) {
1002                 match = true;
1003             }
1004             if ( !match
1005                     && node.getNodeData().isHasSequence()
1006                     && ( node.getNodeData().getSequence().getAccession() != null )
1007                     && match( node.getNodeData().getSequence().getAccession().getValue(),
1008                               query,
1009                               case_sensitive,
1010                               partial ) ) {
1011                 match = true;
1012             }
1013             if ( search_domains && !match && node.getNodeData().isHasSequence()
1014                     && ( node.getNodeData().getSequence().getDomainArchitecture() != null ) ) {
1015                 final DomainArchitecture da = node.getNodeData().getSequence().getDomainArchitecture();
1016                 I: for( int i = 0; i < da.getNumberOfDomains(); ++i ) {
1017                     if ( match( da.getDomain( i ).getName(), query, case_sensitive, partial ) ) {
1018                         match = true;
1019                         break I;
1020                     }
1021                 }
1022             }
1023             if ( !match && ( node.getNodeData().getBinaryCharacters() != null ) ) {
1024                 Iterator<String> it = node.getNodeData().getBinaryCharacters().getPresentCharacters().iterator();
1025                 I: while ( it.hasNext() ) {
1026                     if ( match( it.next(), query, case_sensitive, partial ) ) {
1027                         match = true;
1028                         break I;
1029                     }
1030                 }
1031                 it = node.getNodeData().getBinaryCharacters().getGainedCharacters().iterator();
1032                 I: while ( it.hasNext() ) {
1033                     if ( match( it.next(), query, case_sensitive, partial ) ) {
1034                         match = true;
1035                         break I;
1036                     }
1037                 }
1038             }
1039             if ( match ) {
1040                 nodes.add( node );
1041             }
1042         }
1043         return nodes;
1044     }
1045
1046     public static List<PhylogenyNode> searchDataLogicalAnd( final String[] queries,
1047                                                             final Phylogeny phy,
1048                                                             final boolean case_sensitive,
1049                                                             final boolean partial,
1050                                                             final boolean search_domains ) {
1051         final List<PhylogenyNode> nodes = new ArrayList<PhylogenyNode>();
1052         if ( phy.isEmpty() || ( queries == null ) || ( queries.length < 1 ) ) {
1053             return nodes;
1054         }
1055         for( final PhylogenyNodeIterator iter = phy.iteratorPreorder(); iter.hasNext(); ) {
1056             final PhylogenyNode node = iter.next();
1057             boolean all_matched = true;
1058             for( final String query : queries ) {
1059                 boolean match = false;
1060                 if ( ForesterUtil.isEmpty( query ) ) {
1061                     continue;
1062                 }
1063                 if ( match( node.getName(), query, case_sensitive, partial ) ) {
1064                     match = true;
1065                 }
1066                 else if ( node.getNodeData().isHasTaxonomy()
1067                         && match( node.getNodeData().getTaxonomy().getTaxonomyCode(), query, case_sensitive, partial ) ) {
1068                     match = true;
1069                 }
1070                 else if ( node.getNodeData().isHasTaxonomy()
1071                         && match( node.getNodeData().getTaxonomy().getCommonName(), query, case_sensitive, partial ) ) {
1072                     match = true;
1073                 }
1074                 else if ( node.getNodeData().isHasTaxonomy()
1075                         && match( node.getNodeData().getTaxonomy().getScientificName(), query, case_sensitive, partial ) ) {
1076                     match = true;
1077                 }
1078                 else if ( node.getNodeData().isHasTaxonomy()
1079                         && ( node.getNodeData().getTaxonomy().getIdentifier() != null )
1080                         && match( node.getNodeData().getTaxonomy().getIdentifier().getValue(),
1081                                   query,
1082                                   case_sensitive,
1083                                   partial ) ) {
1084                     match = true;
1085                 }
1086                 else if ( node.getNodeData().isHasTaxonomy()
1087                         && !node.getNodeData().getTaxonomy().getSynonyms().isEmpty() ) {
1088                     final List<String> syns = node.getNodeData().getTaxonomy().getSynonyms();
1089                     I: for( final String syn : syns ) {
1090                         if ( match( syn, query, case_sensitive, partial ) ) {
1091                             match = true;
1092                             break I;
1093                         }
1094                     }
1095                 }
1096                 if ( !match && node.getNodeData().isHasSequence()
1097                         && match( node.getNodeData().getSequence().getName(), query, case_sensitive, partial ) ) {
1098                     match = true;
1099                 }
1100                 if ( !match && node.getNodeData().isHasSequence()
1101                         && match( node.getNodeData().getSequence().getSymbol(), query, case_sensitive, partial ) ) {
1102                     match = true;
1103                 }
1104                 if ( !match
1105                         && node.getNodeData().isHasSequence()
1106                         && ( node.getNodeData().getSequence().getAccession() != null )
1107                         && match( node.getNodeData().getSequence().getAccession().getValue(),
1108                                   query,
1109                                   case_sensitive,
1110                                   partial ) ) {
1111                     match = true;
1112                 }
1113                 if ( search_domains && !match && node.getNodeData().isHasSequence()
1114                         && ( node.getNodeData().getSequence().getDomainArchitecture() != null ) ) {
1115                     final DomainArchitecture da = node.getNodeData().getSequence().getDomainArchitecture();
1116                     I: for( int i = 0; i < da.getNumberOfDomains(); ++i ) {
1117                         if ( match( da.getDomain( i ).getName(), query, case_sensitive, partial ) ) {
1118                             match = true;
1119                             break I;
1120                         }
1121                     }
1122                 }
1123                 if ( !match && ( node.getNodeData().getBinaryCharacters() != null ) ) {
1124                     Iterator<String> it = node.getNodeData().getBinaryCharacters().getPresentCharacters().iterator();
1125                     I: while ( it.hasNext() ) {
1126                         if ( match( it.next(), query, case_sensitive, partial ) ) {
1127                             match = true;
1128                             break I;
1129                         }
1130                     }
1131                     it = node.getNodeData().getBinaryCharacters().getGainedCharacters().iterator();
1132                     I: while ( it.hasNext() ) {
1133                         if ( match( it.next(), query, case_sensitive, partial ) ) {
1134                             match = true;
1135                             break I;
1136                         }
1137                     }
1138                 }
1139                 if ( !match ) {
1140                     all_matched = false;
1141                     break;
1142                 }
1143             }
1144             if ( all_matched ) {
1145                 nodes.add( node );
1146             }
1147         }
1148         return nodes;
1149     }
1150
1151     /**
1152      * Convenience method.
1153      * Sets value for the first confidence value (created if not present, values overwritten otherwise). 
1154      */
1155     public static void setBootstrapConfidence( final PhylogenyNode node, final double bootstrap_confidence_value ) {
1156         setConfidence( node, bootstrap_confidence_value, "bootstrap" );
1157     }
1158
1159     public static void setBranchColorValue( final PhylogenyNode node, final Color color ) {
1160         if ( node.getBranchData().getBranchColor() == null ) {
1161             node.getBranchData().setBranchColor( new BranchColor() );
1162         }
1163         node.getBranchData().getBranchColor().setValue( color );
1164     }
1165
1166     /**
1167      * Convenience method
1168      */
1169     public static void setBranchWidthValue( final PhylogenyNode node, final double branch_width_value ) {
1170         node.getBranchData().setBranchWidth( new BranchWidth( branch_width_value ) );
1171     }
1172
1173     /**
1174      * Convenience method.
1175      * Sets value for the first confidence value (created if not present, values overwritten otherwise). 
1176      */
1177     public static void setConfidence( final PhylogenyNode node, final double confidence_value ) {
1178         setConfidence( node, confidence_value, "" );
1179     }
1180
1181     /**
1182      * Convenience method.
1183      * Sets value for the first confidence value (created if not present, values overwritten otherwise). 
1184      */
1185     public static void setConfidence( final PhylogenyNode node, final double confidence_value, final String type ) {
1186         Confidence c = null;
1187         if ( node.getBranchData().getNumberOfConfidences() > 0 ) {
1188             c = node.getBranchData().getConfidence( 0 );
1189         }
1190         else {
1191             c = new Confidence();
1192             node.getBranchData().addConfidence( c );
1193         }
1194         c.setType( type );
1195         c.setValue( confidence_value );
1196     }
1197
1198     public static void setScientificName( final PhylogenyNode node, final String scientific_name ) {
1199         if ( !node.getNodeData().isHasTaxonomy() ) {
1200             node.getNodeData().setTaxonomy( new Taxonomy() );
1201         }
1202         node.getNodeData().getTaxonomy().setScientificName( scientific_name );
1203     }
1204
1205     /**
1206      * Convenience method to set the taxonomy code of a phylogeny node.
1207      * 
1208      * 
1209      * @param node
1210      * @param taxonomy_code
1211      * @throws PhyloXmlDataFormatException 
1212      */
1213     public static void setTaxonomyCode( final PhylogenyNode node, final String taxonomy_code )
1214             throws PhyloXmlDataFormatException {
1215         if ( !node.getNodeData().isHasTaxonomy() ) {
1216             node.getNodeData().setTaxonomy( new Taxonomy() );
1217         }
1218         node.getNodeData().getTaxonomy().setTaxonomyCode( taxonomy_code );
1219     }
1220
1221     final static public void sortNodeDescendents( final PhylogenyNode node, final DESCENDANT_SORT_PRIORITY pri ) {
1222         class PhylogenyNodeSortTaxonomyPriority implements Comparator<PhylogenyNode> {
1223
1224             @Override
1225             public int compare( final PhylogenyNode n1, final PhylogenyNode n2 ) {
1226                 if ( n1.getNodeData().isHasTaxonomy() && n2.getNodeData().isHasTaxonomy() ) {
1227                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getScientificName() ) )
1228                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getScientificName() ) ) ) {
1229                         return n1.getNodeData().getTaxonomy().getScientificName().toLowerCase()
1230                                 .compareTo( n2.getNodeData().getTaxonomy().getScientificName().toLowerCase() );
1231                     }
1232                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getTaxonomyCode() ) )
1233                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getTaxonomyCode() ) ) ) {
1234                         return n1.getNodeData().getTaxonomy().getTaxonomyCode()
1235                                 .compareTo( n2.getNodeData().getTaxonomy().getTaxonomyCode() );
1236                     }
1237                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getCommonName() ) )
1238                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getCommonName() ) ) ) {
1239                         return n1.getNodeData().getTaxonomy().getCommonName().toLowerCase()
1240                                 .compareTo( n2.getNodeData().getTaxonomy().getCommonName().toLowerCase() );
1241                     }
1242                 }
1243                 if ( n1.getNodeData().isHasSequence() && n2.getNodeData().isHasSequence() ) {
1244                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getName() ) )
1245                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getName() ) ) ) {
1246                         return n1.getNodeData().getSequence().getName().toLowerCase()
1247                                 .compareTo( n2.getNodeData().getSequence().getName().toLowerCase() );
1248                     }
1249                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getSymbol() ) )
1250                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getSymbol() ) ) ) {
1251                         return n1.getNodeData().getSequence().getSymbol()
1252                                 .compareTo( n2.getNodeData().getSequence().getSymbol() );
1253                     }
1254                     if ( ( n1.getNodeData().getSequence().getAccession() != null )
1255                             && ( n2.getNodeData().getSequence().getAccession() != null )
1256                             && !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getAccession().getValue() )
1257                             && !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getAccession().getValue() ) ) {
1258                         return n1.getNodeData().getSequence().getAccession().getValue()
1259                                 .compareTo( n2.getNodeData().getSequence().getAccession().getValue() );
1260                     }
1261                 }
1262                 if ( ( !ForesterUtil.isEmpty( n1.getName() ) ) && ( !ForesterUtil.isEmpty( n2.getName() ) ) ) {
1263                     return n1.getName().toLowerCase().compareTo( n2.getName().toLowerCase() );
1264                 }
1265                 return 0;
1266             }
1267         }
1268         class PhylogenyNodeSortSequencePriority implements Comparator<PhylogenyNode> {
1269
1270             @Override
1271             public int compare( final PhylogenyNode n1, final PhylogenyNode n2 ) {
1272                 if ( n1.getNodeData().isHasSequence() && n2.getNodeData().isHasSequence() ) {
1273                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getName() ) )
1274                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getName() ) ) ) {
1275                         return n1.getNodeData().getSequence().getName().toLowerCase()
1276                                 .compareTo( n2.getNodeData().getSequence().getName().toLowerCase() );
1277                     }
1278                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getSymbol() ) )
1279                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getSymbol() ) ) ) {
1280                         return n1.getNodeData().getSequence().getSymbol()
1281                                 .compareTo( n2.getNodeData().getSequence().getSymbol() );
1282                     }
1283                     if ( ( n1.getNodeData().getSequence().getAccession() != null )
1284                             && ( n2.getNodeData().getSequence().getAccession() != null )
1285                             && !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getAccession().getValue() )
1286                             && !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getAccession().getValue() ) ) {
1287                         return n1.getNodeData().getSequence().getAccession().getValue()
1288                                 .compareTo( n2.getNodeData().getSequence().getAccession().getValue() );
1289                     }
1290                 }
1291                 if ( n1.getNodeData().isHasTaxonomy() && n2.getNodeData().isHasTaxonomy() ) {
1292                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getScientificName() ) )
1293                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getScientificName() ) ) ) {
1294                         return n1.getNodeData().getTaxonomy().getScientificName().toLowerCase()
1295                                 .compareTo( n2.getNodeData().getTaxonomy().getScientificName().toLowerCase() );
1296                     }
1297                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getTaxonomyCode() ) )
1298                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getTaxonomyCode() ) ) ) {
1299                         return n1.getNodeData().getTaxonomy().getTaxonomyCode()
1300                                 .compareTo( n2.getNodeData().getTaxonomy().getTaxonomyCode() );
1301                     }
1302                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getCommonName() ) )
1303                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getCommonName() ) ) ) {
1304                         return n1.getNodeData().getTaxonomy().getCommonName().toLowerCase()
1305                                 .compareTo( n2.getNodeData().getTaxonomy().getCommonName().toLowerCase() );
1306                     }
1307                 }
1308                 if ( ( !ForesterUtil.isEmpty( n1.getName() ) ) && ( !ForesterUtil.isEmpty( n2.getName() ) ) ) {
1309                     return n1.getName().toLowerCase().compareTo( n2.getName().toLowerCase() );
1310                 }
1311                 return 0;
1312             }
1313         }
1314         class PhylogenyNodeSortNodeNamePriority implements Comparator<PhylogenyNode> {
1315
1316             @Override
1317             public int compare( final PhylogenyNode n1, final PhylogenyNode n2 ) {
1318                 if ( ( !ForesterUtil.isEmpty( n1.getName() ) ) && ( !ForesterUtil.isEmpty( n2.getName() ) ) ) {
1319                     return n1.getName().toLowerCase().compareTo( n2.getName().toLowerCase() );
1320                 }
1321                 if ( n1.getNodeData().isHasTaxonomy() && n2.getNodeData().isHasTaxonomy() ) {
1322                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getScientificName() ) )
1323                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getScientificName() ) ) ) {
1324                         return n1.getNodeData().getTaxonomy().getScientificName().toLowerCase()
1325                                 .compareTo( n2.getNodeData().getTaxonomy().getScientificName().toLowerCase() );
1326                     }
1327                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getTaxonomyCode() ) )
1328                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getTaxonomyCode() ) ) ) {
1329                         return n1.getNodeData().getTaxonomy().getTaxonomyCode()
1330                                 .compareTo( n2.getNodeData().getTaxonomy().getTaxonomyCode() );
1331                     }
1332                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getTaxonomy().getCommonName() ) )
1333                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getTaxonomy().getCommonName() ) ) ) {
1334                         return n1.getNodeData().getTaxonomy().getCommonName().toLowerCase()
1335                                 .compareTo( n2.getNodeData().getTaxonomy().getCommonName().toLowerCase() );
1336                     }
1337                 }
1338                 if ( n1.getNodeData().isHasSequence() && n2.getNodeData().isHasSequence() ) {
1339                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getName() ) )
1340                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getName() ) ) ) {
1341                         return n1.getNodeData().getSequence().getName().toLowerCase()
1342                                 .compareTo( n2.getNodeData().getSequence().getName().toLowerCase() );
1343                     }
1344                     if ( ( !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getSymbol() ) )
1345                             && ( !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getSymbol() ) ) ) {
1346                         return n1.getNodeData().getSequence().getSymbol()
1347                                 .compareTo( n2.getNodeData().getSequence().getSymbol() );
1348                     }
1349                     if ( ( n1.getNodeData().getSequence().getAccession() != null )
1350                             && ( n2.getNodeData().getSequence().getAccession() != null )
1351                             && !ForesterUtil.isEmpty( n1.getNodeData().getSequence().getAccession().getValue() )
1352                             && !ForesterUtil.isEmpty( n2.getNodeData().getSequence().getAccession().getValue() ) ) {
1353                         return n1.getNodeData().getSequence().getAccession().getValue()
1354                                 .compareTo( n2.getNodeData().getSequence().getAccession().getValue() );
1355                     }
1356                 }
1357                 return 0;
1358             }
1359         }
1360         Comparator<PhylogenyNode> c;
1361         switch ( pri ) {
1362             case SEQUENCE:
1363                 c = new PhylogenyNodeSortSequencePriority();
1364                 break;
1365             case NODE_NAME:
1366                 c = new PhylogenyNodeSortNodeNamePriority();
1367                 break;
1368             default:
1369                 c = new PhylogenyNodeSortTaxonomyPriority();
1370         }
1371         final List<PhylogenyNode> descs = node.getDescendants();
1372         Collections.sort( descs, c );
1373         int i = 0;
1374         for( final PhylogenyNode desc : descs ) {
1375             node.setChildNode( i++, desc );
1376         }
1377     }
1378
1379     /**
1380      * Removes from Phylogeny to_be_stripped all external Nodes which are
1381      * associated with a species NOT found in Phylogeny reference.
1382      * 
1383      * @param reference
1384      *            a reference Phylogeny
1385      * @param to_be_stripped
1386      *            Phylogeny to be stripped
1387      * @return nodes removed from to_be_stripped
1388      */
1389     public static List<PhylogenyNode> taxonomyBasedDeletionOfExternalNodes( final Phylogeny reference,
1390                                                                             final Phylogeny to_be_stripped ) {
1391         final Set<String> ref_ext_taxo = new HashSet<String>();
1392         for( final PhylogenyNodeIterator it = reference.iteratorExternalForward(); it.hasNext(); ) {
1393             final PhylogenyNode n = it.next();
1394             if ( !n.getNodeData().isHasTaxonomy() ) {
1395                 throw new IllegalArgumentException( "no taxonomic data in node: " + n );
1396             }
1397             //  ref_ext_taxo.add( getSpecies( n ) );
1398             if ( !ForesterUtil.isEmpty( n.getNodeData().getTaxonomy().getScientificName() ) ) {
1399                 ref_ext_taxo.add( n.getNodeData().getTaxonomy().getScientificName() );
1400             }
1401             if ( !ForesterUtil.isEmpty( n.getNodeData().getTaxonomy().getTaxonomyCode() ) ) {
1402                 ref_ext_taxo.add( n.getNodeData().getTaxonomy().getTaxonomyCode() );
1403             }
1404         }
1405         final ArrayList<PhylogenyNode> nodes_to_delete = new ArrayList<PhylogenyNode>();
1406         for( final PhylogenyNodeIterator it = to_be_stripped.iteratorExternalForward(); it.hasNext(); ) {
1407             final PhylogenyNode n = it.next();
1408             if ( !n.getNodeData().isHasTaxonomy() ) {
1409                 nodes_to_delete.add( n );
1410             }
1411             else if ( !( ref_ext_taxo.contains( n.getNodeData().getTaxonomy().getScientificName() ) )
1412                     && !( ref_ext_taxo.contains( n.getNodeData().getTaxonomy().getTaxonomyCode() ) ) ) {
1413                 nodes_to_delete.add( n );
1414             }
1415         }
1416         for( final PhylogenyNode n : nodes_to_delete ) {
1417             to_be_stripped.deleteSubtree( n, true );
1418         }
1419         to_be_stripped.clearHashIdToNodeMap();
1420         to_be_stripped.externalNodesHaveChanged();
1421         return nodes_to_delete;
1422     }
1423
1424     final static public void transferInternalNamesToBootstrapSupport( final Phylogeny phy ) {
1425         final PhylogenyNodeIterator it = phy.iteratorPostorder();
1426         while ( it.hasNext() ) {
1427             final PhylogenyNode n = it.next();
1428             if ( !n.isExternal() && !ForesterUtil.isEmpty( n.getName() ) ) {
1429                 double value = -1;
1430                 try {
1431                     value = Double.parseDouble( n.getName() );
1432                 }
1433                 catch ( final NumberFormatException e ) {
1434                     throw new IllegalArgumentException( "failed to parse number from [" + n.getName() + "]: "
1435                             + e.getLocalizedMessage() );
1436                 }
1437                 if ( value >= 0.0 ) {
1438                     n.getBranchData().addConfidence( new Confidence( value, "bootstrap" ) );
1439                     n.setName( "" );
1440                 }
1441             }
1442         }
1443     }
1444
1445     final static public void transferInternalNodeNamesToConfidence( final Phylogeny phy ) {
1446         final PhylogenyNodeIterator it = phy.iteratorPostorder();
1447         while ( it.hasNext() ) {
1448             final PhylogenyNode n = it.next();
1449             if ( !n.isExternal() && !n.getBranchData().isHasConfidences() ) {
1450                 if ( !ForesterUtil.isEmpty( n.getName() ) ) {
1451                     double d = -1.0;
1452                     try {
1453                         d = Double.parseDouble( n.getName() );
1454                     }
1455                     catch ( final Exception e ) {
1456                         d = -1.0;
1457                     }
1458                     if ( d >= 0.0 ) {
1459                         n.getBranchData().addConfidence( new Confidence( d, "" ) );
1460                         n.setName( "" );
1461                     }
1462                 }
1463             }
1464         }
1465     }
1466
1467     final static public void transferNodeNameToField( final Phylogeny phy,
1468                                                       final PhylogenyNodeField field,
1469                                                       final boolean external_only ) throws PhyloXmlDataFormatException {
1470         final PhylogenyNodeIterator it = phy.iteratorPostorder();
1471         while ( it.hasNext() ) {
1472             final PhylogenyNode n = it.next();
1473             if ( external_only && n.isInternal() ) {
1474                 continue;
1475             }
1476             final String name = n.getName().trim();
1477             if ( !ForesterUtil.isEmpty( name ) ) {
1478                 switch ( field ) {
1479                     case TAXONOMY_CODE:
1480                         n.setName( "" );
1481                         setTaxonomyCode( n, name );
1482                         break;
1483                     case TAXONOMY_SCIENTIFIC_NAME:
1484                         n.setName( "" );
1485                         if ( !n.getNodeData().isHasTaxonomy() ) {
1486                             n.getNodeData().setTaxonomy( new Taxonomy() );
1487                         }
1488                         n.getNodeData().getTaxonomy().setScientificName( name );
1489                         break;
1490                     case TAXONOMY_COMMON_NAME:
1491                         n.setName( "" );
1492                         if ( !n.getNodeData().isHasTaxonomy() ) {
1493                             n.getNodeData().setTaxonomy( new Taxonomy() );
1494                         }
1495                         n.getNodeData().getTaxonomy().setCommonName( name );
1496                         break;
1497                     case SEQUENCE_SYMBOL:
1498                         n.setName( "" );
1499                         if ( !n.getNodeData().isHasSequence() ) {
1500                             n.getNodeData().setSequence( new Sequence() );
1501                         }
1502                         n.getNodeData().getSequence().setSymbol( name );
1503                         break;
1504                     case SEQUENCE_NAME:
1505                         n.setName( "" );
1506                         if ( !n.getNodeData().isHasSequence() ) {
1507                             n.getNodeData().setSequence( new Sequence() );
1508                         }
1509                         n.getNodeData().getSequence().setName( name );
1510                         break;
1511                     case TAXONOMY_ID_UNIPROT_1: {
1512                         if ( !n.getNodeData().isHasTaxonomy() ) {
1513                             n.getNodeData().setTaxonomy( new Taxonomy() );
1514                         }
1515                         String id = name;
1516                         final int i = name.indexOf( '_' );
1517                         if ( i > 0 ) {
1518                             id = name.substring( 0, i );
1519                         }
1520                         else {
1521                             n.setName( "" );
1522                         }
1523                         n.getNodeData().getTaxonomy()
1524                                 .setIdentifier( new Identifier( id, PhyloXmlUtil.UNIPROT_TAX_PROVIDER ) );
1525                         break;
1526                     }
1527                     case TAXONOMY_ID_UNIPROT_2: {
1528                         if ( !n.getNodeData().isHasTaxonomy() ) {
1529                             n.getNodeData().setTaxonomy( new Taxonomy() );
1530                         }
1531                         String id = name;
1532                         final int i = name.indexOf( '_' );
1533                         if ( i > 0 ) {
1534                             id = name.substring( i + 1, name.length() );
1535                         }
1536                         else {
1537                             n.setName( "" );
1538                         }
1539                         n.getNodeData().getTaxonomy()
1540                                 .setIdentifier( new Identifier( id, PhyloXmlUtil.UNIPROT_TAX_PROVIDER ) );
1541                         break;
1542                     }
1543                     case TAXONOMY_ID: {
1544                         if ( !n.getNodeData().isHasTaxonomy() ) {
1545                             n.getNodeData().setTaxonomy( new Taxonomy() );
1546                         }
1547                         n.getNodeData().getTaxonomy().setIdentifier( new Identifier( name ) );
1548                         break;
1549                     }
1550                 }
1551             }
1552         }
1553     }
1554
1555     static double addPhylogenyDistances( final double a, final double b ) {
1556         if ( ( a >= 0.0 ) && ( b >= 0.0 ) ) {
1557             return a + b;
1558         }
1559         else if ( a >= 0.0 ) {
1560             return a;
1561         }
1562         else if ( b >= 0.0 ) {
1563             return b;
1564         }
1565         return PhylogenyDataUtil.BRANCH_LENGTH_DEFAULT;
1566     }
1567
1568     /**
1569      * Deep copies the phylogeny originating from this node.
1570      */
1571     static PhylogenyNode copySubTree( final PhylogenyNode source ) {
1572         if ( source == null ) {
1573             return null;
1574         }
1575         else {
1576             final PhylogenyNode newnode = source.copyNodeData();
1577             if ( !source.isExternal() ) {
1578                 for( int i = 0; i < source.getNumberOfDescendants(); ++i ) {
1579                     newnode.setChildNode( i, PhylogenyMethods.copySubTree( source.getChildNode( i ) ) );
1580                 }
1581             }
1582             return newnode;
1583         }
1584     }
1585
1586     /**
1587      * Shallow copies the phylogeny originating from this node.
1588      */
1589     static PhylogenyNode copySubTreeShallow( final PhylogenyNode source ) {
1590         if ( source == null ) {
1591             return null;
1592         }
1593         else {
1594             final PhylogenyNode newnode = source.copyNodeDataShallow();
1595             if ( !source.isExternal() ) {
1596                 for( int i = 0; i < source.getNumberOfDescendants(); ++i ) {
1597                     newnode.setChildNode( i, PhylogenyMethods.copySubTreeShallow( source.getChildNode( i ) ) );
1598                 }
1599             }
1600             return newnode;
1601         }
1602     }
1603
1604     /**
1605      * Calculates the distance between PhylogenyNodes n1 and n2.
1606      * PRECONDITION: n1 is a descendant of n2.
1607      * 
1608      * @param n1
1609      *            a descendant of n2
1610      * @param n2
1611      * @return distance between n1 and n2
1612      */
1613     private static double getDistance( PhylogenyNode n1, final PhylogenyNode n2 ) {
1614         double d = 0.0;
1615         while ( n1 != n2 ) {
1616             if ( n1.getDistanceToParent() > 0.0 ) {
1617                 d += n1.getDistanceToParent();
1618             }
1619             n1 = n1.getParent();
1620         }
1621         return d;
1622     }
1623
1624     private static boolean match( final String s,
1625                                   final String query,
1626                                   final boolean case_sensitive,
1627                                   final boolean partial ) {
1628         if ( ForesterUtil.isEmpty( s ) || ForesterUtil.isEmpty( query ) ) {
1629             return false;
1630         }
1631         String my_s = s.trim();
1632         String my_query = query.trim();
1633         if ( !case_sensitive ) {
1634             my_s = my_s.toLowerCase();
1635             my_query = my_query.toLowerCase();
1636         }
1637         if ( partial ) {
1638             return my_s.indexOf( my_query ) >= 0;
1639         }
1640         else {
1641             return my_s.equals( my_query );
1642         }
1643     }
1644
1645     public static enum DESCENDANT_SORT_PRIORITY {
1646         TAXONOMY, SEQUENCE, NODE_NAME;
1647     }
1648
1649     public static enum PhylogenyNodeField {
1650         CLADE_NAME,
1651         TAXONOMY_CODE,
1652         TAXONOMY_SCIENTIFIC_NAME,
1653         TAXONOMY_COMMON_NAME,
1654         SEQUENCE_SYMBOL,
1655         SEQUENCE_NAME,
1656         TAXONOMY_ID_UNIPROT_1,
1657         TAXONOMY_ID_UNIPROT_2,
1658         TAXONOMY_ID;
1659     }
1660 }