src/jalview/util/MapList.java

   1 /*
   2  * Jalview - A Sequence Alignment Editor and Viewer ($$Version-Rel$$)
   3  * Copyright (C) $$Year-Rel$$ The Jalview Authors
   4  *
   5  * This file is part of Jalview.
   6  *
   7  * Jalview is free software: you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation, either version 3
  10  * of the License, or (at your option) any later version.
  11  *
  12  * Jalview is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty
  14  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  15  * PURPOSE.  See the GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with Jalview.  If not, see <http://www.gnu.org/licenses/>.
  19  * The Jalview Authors are detailed in the 'AUTHORS' file.
  20  */
  21 package jalview.util;
  22
  23 import java.util.ArrayList;
  24 import java.util.Arrays;
  25 import java.util.List;
  26
  27 /**
  28  * A simple way of bijectively mapping a non-contiguous linear range to another
  29  * non-contiguous linear range.
  30  *
  31  * Use at your own risk!
  32  *
  33  * TODO: efficient implementation of private posMap method
  34  *
  35  * TODO: test/ensure that sense of from and to ratio start position is conserved
  36  * (codon start position recovery)
  37  */
  38 public class MapList
  39 {
  40
  41   /*
  42    * Subregions (base 1) described as { [start1, end1], [start2, end2], ...}
  43    */
  44   private List<int[]> fromShifts;
  45
  46   /*
  47    * Same format as fromShifts, for the 'mapped to' sequence
  48    */
  49   private List<int[]> toShifts;
  50
  51   /*
  52    * number of steps in fromShifts to one toRatio unit
  53    */
  54   private int fromRatio;
  55
  56   /*
  57    * number of steps in toShifts to one fromRatio
  58    */
  59   private int toRatio;
  60
  61   /*
  62    * lowest and highest value in the from Map
  63    */
  64   private int fromLowest;
  65
  66   private int fromHighest;
  67
  68   /*
  69    * lowest and highest value in the to Map
  70    */
  71   private int toLowest;
  72
  73   private int toHighest;
  74
  75   /**
  76    * Constructor
  77    */
  78   public MapList()
  79   {
  80     fromShifts = new ArrayList<>();
  81     toShifts = new ArrayList<>();
  82   }
  83
  84   /**
  85    * Two MapList objects are equal if they are the same object, or they both
  86    * have populated shift ranges and all values are the same.
  87    */
  88   @Override
  89   public boolean equals(Object o)
  90   {
  91     if (o == null || !(o instanceof MapList))
  92     {
  93       return false;
  94     }
  95
  96     MapList obj = (MapList) o;
  97     if (obj == this)
  98     {
  99       return true;
 100     }
 101     if (obj.fromRatio != fromRatio || obj.toRatio != toRatio
 102             || obj.fromShifts == null || obj.toShifts == null)
 103     {
 104       return false;
 105     }
 106     return Arrays.deepEquals(fromShifts.toArray(), obj.fromShifts.toArray())
 107             && Arrays.deepEquals(toShifts.toArray(),
 108                     obj.toShifts.toArray());
 109   }
 110
 111   /**
 112    * Returns a hashcode made from the fromRatio, toRatio, and from/to ranges
 113    */
 114   @Override
 115   public int hashCode()
 116   {
 117     int hashCode = 31 * fromRatio;
 118     hashCode = 31 * hashCode + toRatio;
 119     for (int[] shift : fromShifts)
 120     {
 121       hashCode = 31 * hashCode + shift[0];
 122       hashCode = 31 * hashCode + shift[1];
 123     }
 124     for (int[] shift : toShifts)
 125     {
 126       hashCode = 31 * hashCode + shift[0];
 127       hashCode = 31 * hashCode + shift[1];
 128     }
 129
 130     return hashCode;
 131   }
 132
 133   /**
 134    * Returns the 'from' ranges as {[start1, end1], [start2, end2], ...}
 135    *
 136    * @return
 137    */
 138   public List<int[]> getFromRanges()
 139   {
 140     return fromShifts;
 141   }
 142
 143   /**
 144    * Returns the 'to' ranges as {[start1, end1], [start2, end2], ...}
 145    *
 146    * @return
 147    */
 148   public List<int[]> getToRanges()
 149   {
 150     return toShifts;
 151   }
 152
 153   /**
 154    * Flattens a list of [start, end] into a single [start1, end1, start2,
 155    * end2,...] array.
 156    *
 157    * @param shifts
 158    * @return
 159    */
 160   protected static int[] getRanges(List<int[]> shifts)
 161   {
 162     int[] rnges = new int[2 * shifts.size()];
 163     int i = 0;
 164     for (int[] r : shifts)
 165     {
 166       rnges[i++] = r[0];
 167       rnges[i++] = r[1];
 168     }
 169     return rnges;
 170   }
 171
 172   /**
 173    *
 174    * @return length of mapped phrase in from
 175    */
 176   public int getFromRatio()
 177   {
 178     return fromRatio;
 179   }
 180
 181   /**
 182    *
 183    * @return length of mapped phrase in to
 184    */
 185   public int getToRatio()
 186   {
 187     return toRatio;
 188   }
 189
 190   public int getFromLowest()
 191   {
 192     return fromLowest;
 193   }
 194
 195   public int getFromHighest()
 196   {
 197     return fromHighest;
 198   }
 199
 200   public int getToLowest()
 201   {
 202     return toLowest;
 203   }
 204
 205   public int getToHighest()
 206   {
 207     return toHighest;
 208   }
 209
 210   /**
 211    * Constructor given from and to ranges as [start1, end1, start2, end2,...].
 212    * There is no validation check that the ranges do not overlap each other.
 213    *
 214    * @param from
 215    *          contiguous regions as [start1, end1, start2, end2, ...]
 216    * @param to
 217    *          same format as 'from'
 218    * @param fromRatio
 219    *          phrase length in 'from' (e.g. 3 for dna)
 220    * @param toRatio
 221    *          phrase length in 'to' (e.g. 1 for protein)
 222    */
 223   public MapList(int from[], int to[], int fromRatio, int toRatio)
 224   {
 225     this();
 226     this.fromRatio = fromRatio;
 227     this.toRatio = toRatio;
 228     fromLowest = Integer.MAX_VALUE;
 229     fromHighest = Integer.MIN_VALUE;
 230
 231     for (int i = 0; i < from.length; i += 2)
 232     {
 233       /*
 234        * note lowest and highest values - bearing in mind the
 235        * direction may be reversed
 236        */
 237       fromLowest = Math.min(fromLowest, Math.min(from[i], from[i + 1]));
 238       fromHighest = Math.max(fromHighest, Math.max(from[i], from[i + 1]));
 239       fromShifts.add(new int[] { from[i], from[i + 1] });
 240     }
 241
 242     toLowest = Integer.MAX_VALUE;
 243     toHighest = Integer.MIN_VALUE;
 244     for (int i = 0; i < to.length; i += 2)
 245     {
 246       toLowest = Math.min(toLowest, Math.min(to[i], to[i + 1]));
 247       toHighest = Math.max(toHighest, Math.max(to[i], to[i + 1]));
 248       toShifts.add(new int[] { to[i], to[i + 1] });
 249     }
 250   }
 251
 252   /**
 253    * Copy constructor. Creates an identical mapping.
 254    *
 255    * @param map
 256    */
 257   public MapList(MapList map)
 258   {
 259     this();
 260     // TODO not used - remove?
 261     this.fromLowest = map.fromLowest;
 262     this.fromHighest = map.fromHighest;
 263     this.toLowest = map.toLowest;
 264     this.toHighest = map.toHighest;
 265
 266     this.fromRatio = map.fromRatio;
 267     this.toRatio = map.toRatio;
 268     if (map.fromShifts != null)
 269     {
 270       for (int[] r : map.fromShifts)
 271       {
 272         fromShifts.add(new int[] { r[0], r[1] });
 273       }
 274     }
 275     if (map.toShifts != null)
 276     {
 277       for (int[] r : map.toShifts)
 278       {
 279         toShifts.add(new int[] { r[0], r[1] });
 280       }
 281     }
 282   }
 283
 284   /**
 285    * Constructor given ranges as lists of [start, end] positions. There is no
 286    * validation check that the ranges do not overlap each other.
 287    *
 288    * @param fromRange
 289    * @param toRange
 290    * @param fromRatio
 291    * @param toRatio
 292    */
 293   public MapList(List<int[]> fromRange, List<int[]> toRange, int fromRatio,
 294           int toRatio)
 295   {
 296     this();
 297     fromRange = coalesceRanges(fromRange);
 298     toRange = coalesceRanges(toRange);
 299     this.fromShifts = fromRange;
 300     this.toShifts = toRange;
 301     this.fromRatio = fromRatio;
 302     this.toRatio = toRatio;
 303
 304     fromLowest = Integer.MAX_VALUE;
 305     fromHighest = Integer.MIN_VALUE;
 306     for (int[] range : fromRange)
 307     {
 308       if (range.length != 2)
 309       {
 310         // throw new IllegalArgumentException(range);
 311         System.err.println("Invalid format for fromRange "
 312                 + Arrays.toString(range) + " may cause errors");
 313       }
 314       fromLowest = Math.min(fromLowest, Math.min(range[0], range[1]));
 315       fromHighest = Math.max(fromHighest, Math.max(range[0], range[1]));
 316     }
 317
 318     toLowest = Integer.MAX_VALUE;
 319     toHighest = Integer.MIN_VALUE;
 320     for (int[] range : toRange)
 321     {
 322       if (range.length != 2)
 323       {
 324         // throw new IllegalArgumentException(range);
 325         System.err.println("Invalid format for toRange "
 326                 + Arrays.toString(range) + " may cause errors");
 327       }
 328       toLowest = Math.min(toLowest, Math.min(range[0], range[1]));
 329       toHighest = Math.max(toHighest, Math.max(range[0], range[1]));
 330     }
 331   }
 332
 333   /**
 334    * Consolidates a list of ranges so that any contiguous ranges are merged.
 335    * This assumes the ranges are already in start order (does not sort them).
 336    * <p>
 337    * The main use case for this method is when mapping cDNA sequence to its
 338    * protein product, based on CDS feature ranges which derive from spliced
 339    * exons, but are contiguous on the cDNA sequence. For example
 340    *
 341    * <pre>
 342    *   CDS 1-20  // from exon1
 343    *   CDS 21-35 // from exon2
 344    *   CDS 36-71 // from exon3
 345    * 'coalesce' to range 1-71
 346    * </pre>
 347    *
 348    * @param ranges
 349    * @return the same list (if unchanged), else a new merged list, leaving the
 350    *         input list unchanged
 351    */
 352   public static List<int[]> coalesceRanges(final List<int[]> ranges)
 353   {
 354     if (ranges == null || ranges.size() < 2)
 355     {
 356       return ranges;
 357     }
 358
 359     boolean changed = false;
 360     List<int[]> merged = new ArrayList<>();
 361     int[] lastRange = ranges.get(0);
 362     int lastDirection = lastRange[1] >= lastRange[0] ? 1 : -1;
 363     lastRange = new int[] { lastRange[0], lastRange[1] };
 364     merged.add(lastRange);
 365     boolean first = true;
 366
 367     for (final int[] range : ranges)
 368     {
 369       if (first)
 370       {
 371         first = false;
 372         continue;
 373       }
 374
 375       int direction = range[1] >= range[0] ? 1 : -1;
 376
 377       /*
 378        * if next range is in the same direction as last and contiguous,
 379        * just update the end position of the last range
 380        */
 381       boolean sameDirection = range[1] == range[0]
 382               || direction == lastDirection;
 383       boolean extending = range[0] == lastRange[1] + lastDirection;
 384       if (sameDirection && extending)
 385       {
 386         lastRange[1] = range[1];
 387         changed = true;
 388       }
 389       else
 390       {
 391         lastRange = new int[] { range[0], range[1] };
 392         merged.add(lastRange);
 393         // careful: merging [5, 5] after [7, 6] should keep negative direction
 394         lastDirection = (range[1] == range[0]) ? lastDirection : direction;
 395       }
 396     }
 397
 398     return changed ? merged : ranges;
 399   }
 400
 401   /**
 402    * get all mapped positions from 'from' to 'to'
 403    *
 404    * @return int[][] { int[] { fromStart, fromFinish, toStart, toFinish }, int
 405    *         [fromFinish-fromStart+2] { toStart..toFinish mappings}}
 406    */
 407   protected int[][] makeFromMap()
 408   {
 409     // TODO not used - remove??
 410     return posMap(fromShifts, fromRatio, toShifts, toRatio);
 411   }
 412
 413   /**
 414    * get all mapped positions from 'to' to 'from'
 415    *
 416    * @return int[to position]=position mapped in from
 417    */
 418   protected int[][] makeToMap()
 419   {
 420     // TODO not used - remove??
 421     return posMap(toShifts, toRatio, fromShifts, fromRatio);
 422   }
 423
 424   /**
 425    * construct an int map for intervals in intVals
 426    *
 427    * @param shiftTo
 428    * @return int[] { from, to pos in range }, int[range.to-range.from+1]
 429    *         returning mapped position
 430    */
 431   private int[][] posMap(List<int[]> shiftTo, int ratio,
 432           List<int[]> shiftFrom, int toRatio)
 433   {
 434     // TODO not used - remove??
 435     int iv = 0, ivSize = shiftTo.size();
 436     if (iv >= ivSize)
 437     {
 438       return null;
 439     }
 440     int[] intv = shiftTo.get(iv++);
 441     int from = intv[0], to = intv[1];
 442     if (from > to)
 443     {
 444       from = intv[1];
 445       to = intv[0];
 446     }
 447     while (iv < ivSize)
 448     {
 449       intv = shiftTo.get(iv++);
 450       if (intv[0] < from)
 451       {
 452         from = intv[0];
 453       }
 454       if (intv[1] < from)
 455       {
 456         from = intv[1];
 457       }
 458       if (intv[0] > to)
 459       {
 460         to = intv[0];
 461       }
 462       if (intv[1] > to)
 463       {
 464         to = intv[1];
 465       }
 466     }
 467     int tF = 0, tT = 0;
 468     int mp[][] = new int[to - from + 2][];
 469     for (int i = 0; i < mp.length; i++)
 470     {
 471       int[] m = shift(i + from, shiftTo, ratio, shiftFrom, toRatio);
 472       if (m != null)
 473       {
 474         if (i == 0)
 475         {
 476           tF = tT = m[0];
 477         }
 478         else
 479         {
 480           if (m[0] < tF)
 481           {
 482             tF = m[0];
 483           }
 484           if (m[0] > tT)
 485           {
 486             tT = m[0];
 487           }
 488         }
 489       }
 490       mp[i] = m;
 491     }
 492     int[][] map = new int[][] { new int[] { from, to, tF, tT },
 493         new int[to - from + 2] };
 494
 495     map[0][2] = tF;
 496     map[0][3] = tT;
 497
 498     for (int i = 0; i < mp.length; i++)
 499     {
 500       if (mp[i] != null)
 501       {
 502         map[1][i] = mp[i][0] - tF;
 503       }
 504       else
 505       {
 506         map[1][i] = -1; // indicates an out of range mapping
 507       }
 508     }
 509     return map;
 510   }
 511
 512   /**
 513    * addShift
 514    *
 515    * @param pos
 516    *          start position for shift (in original reference frame)
 517    * @param shift
 518    *          length of shift
 519    *
 520    *          public void addShift(int pos, int shift) { int sidx = 0; int[]
 521    *          rshift=null; while (sidx<shifts.size() && (rshift=(int[])
 522    *          shifts.elementAt(sidx))[0]<pos) sidx++; if (sidx==shifts.size())
 523    *          shifts.insertElementAt(new int[] { pos, shift}, sidx); else
 524    *          rshift[1]+=shift; }
 525    */
 526
 527   /**
 528    * shift from pos to To(pos)
 529    *
 530    * @param pos
 531    *          int
 532    * @return int shifted position in To, frameshift in From, direction of mapped
 533    *         symbol in To
 534    */
 535   public int[] shiftFrom(int pos)
 536   {
 537     return shift(pos, fromShifts, fromRatio, toShifts, toRatio);
 538   }
 539
 540   /**
 541    * inverse of shiftFrom - maps pos in To to a position in From
 542    *
 543    * @param pos
 544    *          (in To)
 545    * @return shifted position in From, frameshift in To, direction of mapped
 546    *         symbol in From
 547    */
 548   public int[] shiftTo(int pos)
 549   {
 550     return shift(pos, toShifts, toRatio, fromShifts, fromRatio);
 551   }
 552
 553   /**
 554    *
 555    * @param shiftTo
 556    * @param fromRatio
 557    * @param shiftFrom
 558    * @param toRatio
 559    * @return
 560    */
 561   protected static int[] shift(int pos, List<int[]> shiftTo, int fromRatio,
 562           List<int[]> shiftFrom, int toRatio)
 563   {
 564     // TODO: javadoc; tests
 565     int[] fromCount = countPositions(shiftTo, pos);
 566     if (fromCount == null)
 567     {
 568       return null;
 569     }
 570     int fromRemainder = (fromCount[0] - 1) % fromRatio;
 571     int toCount = 1 + (((fromCount[0] - 1) / fromRatio) * toRatio);
 572     int[] toPos = traverseToPosition(shiftFrom, toCount);
 573     if (toPos == null)
 574     {
 575       return null;
 576     }
 577     return new int[] { toPos[0], fromRemainder, toPos[1] };
 578   }
 579
 580   /**
 581    * Counts how many positions pos is along the series of intervals. Returns an
 582    * array of two values:
 583    * <ul>
 584    * <li>the number of positions traversed (inclusive) to reach {@code pos}</li>
 585    * <li>+1 if the last interval traversed is forward, -1 if in a negative
 586    * direction</li>
 587    * </ul>
 588    * Returns null if {@code pos} does not lie in any of the given intervals.
 589    *
 590    * @param intervals
 591    *          a list of start-end intervals
 592    * @param pos
 593    *          a position that may lie in one (or more) of the intervals
 594    * @return
 595    */
 596   protected static int[] countPositions(List<int[]> intervals, int pos)
 597   {
 598     int count = 0;
 599     int iv = 0;
 600     int ivSize = intervals.size();
 601
 602     while (iv < ivSize)
 603     {
 604       int[] intv = intervals.get(iv++);
 605       if (intv[0] <= intv[1])
 606       {
 607         /*
 608          * forwards interval
 609          */
 610         if (pos >= intv[0] && pos <= intv[1])
 611         {
 612           return new int[] { count + pos - intv[0] + 1, +1 };
 613         }
 614         else
 615         {
 616           count += intv[1] - intv[0] + 1;
 617         }
 618       }
 619       else
 620       {
 621         /*
 622          * reverse interval
 623          */
 624         if (pos >= intv[1] && pos <= intv[0])
 625         {
 626           return new int[] { count + intv[0] - pos + 1, -1 };
 627         }
 628         else
 629         {
 630           count += intv[0] - intv[1] + 1;
 631         }
 632       }
 633     }
 634     return null;
 635   }
 636
 637   /**
 638    * Reads through the given intervals until {@code count} positions have been
 639    * traversed, and returns an array consisting of two values:
 640    * <ul>
 641    * <li>the value at the {@code count'th} position</li>
 642    * <li>+1 if the last interval read is forwards, -1 if reverse direction</li>
 643    * </ul>
 644    * Returns null if the ranges include less than {@code count} positions, or if
 645    * {@code count < 1}.
 646    *
 647    * @param intervals
 648    *          a list of [start, end] ranges
 649    * @param count
 650    *          the number of positions to traverse
 651    * @return
 652    */
 653   protected static int[] traverseToPosition(List<int[]> intervals,
 654           final int count)
 655   {
 656     int traversed = 0;
 657     int ivSize = intervals.size();
 658     int iv = 0;
 659
 660     if (count < 1)
 661     {
 662       return null;
 663     }
 664
 665     while (iv < ivSize)
 666     {
 667       int[] intv = intervals.get(iv++);
 668       int diff = intv[1] - intv[0];
 669       if (diff >= 0)
 670       {
 671         if (count <= traversed + 1 + diff)
 672         {
 673           return new int[] { intv[0] + (count - traversed - 1), +1 };
 674         }
 675         else
 676         {
 677           traversed += 1 + diff;
 678         }
 679       }
 680       else
 681       {
 682         if (count <= traversed + 1 - diff)
 683         {
 684           return new int[] { intv[0] - (count - traversed - 1), -1 };
 685         }
 686         else
 687         {
 688           traversed += 1 - diff;
 689         }
 690       }
 691     }
 692     return null;
 693   }
 694
 695   /**
 696    * find series of intervals mapping from start-end in the From map.
 697    *
 698    * @param start
 699    *          position mapped 'to'
 700    * @param end
 701    *          position mapped 'to'
 702    * @return series of [start, end] ranges in sequence mapped 'from'
 703    */
 704   public int[] locateInFrom(int start, int end)
 705   {
 706     // inefficient implementation
 707     int fromStart[] = shiftTo(start);
 708     // needs to be inclusive of end of symbol position
 709     int fromEnd[] = shiftTo(end);
 710     System.out.println("locateInFrom");
 711     return getIntervals(fromShifts, fromStart, fromEnd, fromRatio);
 712   }
 713
 714   /**
 715    * find series of intervals mapping from start-end in the to map.
 716    *
 717    * @param start
 718    *          position mapped 'from'
 719    * @param end
 720    *          position mapped 'from'
 721    * @return series of [start, end] ranges in sequence mapped 'to'
 722    */
 723   public int[] locateInTo(int start, int end)
 724   {
 725     int toStart[] = shiftFrom(start);
 726     int toEnd[] = shiftFrom(end);
 727     return getIntervals(toShifts, toStart, toEnd, toRatio);
 728   }
 729
 730   /**
 731    * like shift - except returns the intervals in the given vector of shifts
 732    * which were spanned in traversing fromStart to fromEnd
 733    *
 734    * @param shiftFrom
 735    * @param fromStart
 736    * @param fromEnd
 737    * @param fromRatio2
 738    * @return series of from,to intervals from from first position of starting
 739    *         region to final position of ending region inclusive
 740    */
 741   protected static int[] getIntervals(List<int[]> shiftFrom,
 742           int[] fromStart, int[] fromEnd, int fromRatio2)
 743   {
 744     if (fromStart == null || fromEnd == null)
 745     {
 746       return null;
 747     }
 748     int startpos, endpos;
 749     startpos = fromStart[0]; // first position in fromStart
 750     endpos = fromEnd[0]; // last position in fromEnd
 751     int endindx = (fromRatio2 - 1); // additional positions to get to last
 752     // position from endpos
 753     int intv = 0, intvSize = shiftFrom.size();
 754     int iv[], i = 0, fs = -1, fe_s = -1, fe = -1; // containing intervals
 755     // search intervals to locate ones containing startpos and count endindx
 756     // positions on from endpos
 757     while (intv < intvSize && (fs == -1 || fe == -1))
 758     {
 759       iv = shiftFrom.get(intv++);
 760       if (fe_s > -1)
 761       {
 762         endpos = iv[0]; // start counting from beginning of interval
 763         endindx--; // inclusive of endpos
 764       }
 765       if (iv[0] <= iv[1])
 766       {
 767         if (fs == -1 && startpos >= iv[0] && startpos <= iv[1])
 768         {
 769           fs = i;
 770         }
 771         if (endpos >= iv[0] && endpos <= iv[1])
 772         {
 773           if (fe_s == -1)
 774           {
 775             fe_s = i;
 776           }
 777           if (fe_s != -1)
 778           {
 779             if (endpos + endindx <= iv[1])
 780             {
 781               fe = i;
 782               endpos = endpos + endindx; // end of end token is within this
 783               // interval
 784             }
 785             else
 786             {
 787               endindx -= iv[1] - endpos; // skip all this interval too
 788             }
 789           }
 790         }
 791       }
 792       else
 793       {
 794         if (fs == -1 && startpos <= iv[0] && startpos >= iv[1])
 795         {
 796           fs = i;
 797         }
 798         if (endpos <= iv[0] && endpos >= iv[1])
 799         {
 800           if (fe_s == -1)
 801           {
 802             fe_s = i;
 803           }
 804           if (fe_s != -1)
 805           {
 806             if (endpos - endindx >= iv[1])
 807             {
 808               fe = i;
 809               endpos = endpos - endindx; // end of end token is within this
 810               // interval
 811             }
 812             else
 813             {
 814               endindx -= endpos - iv[1]; // skip all this interval too
 815             }
 816           }
 817         }
 818       }
 819       i++;
 820     }
 821     if (fs == fe && fe == -1)
 822     {
 823       return null;
 824     }
 825     List<int[]> ranges = new ArrayList<>();
 826     if (fs <= fe)
 827     {
 828       intv = fs;
 829       i = fs;
 830       // truncate initial interval
 831       iv = shiftFrom.get(intv++);
 832       iv = new int[] { iv[0], iv[1] };// clone
 833       if (i == fs)
 834       {
 835         iv[0] = startpos;
 836       }
 837       while (i != fe)
 838       {
 839         ranges.add(iv); // add initial range
 840         iv = shiftFrom.get(intv++); // get next interval
 841         iv = new int[] { iv[0], iv[1] };// clone
 842         i++;
 843       }
 844       if (i == fe)
 845       {
 846         iv[1] = endpos;
 847       }
 848       ranges.add(iv); // add only - or final range
 849     }
 850     else
 851     {
 852       // walk from end of interval.
 853       i = shiftFrom.size() - 1;
 854       while (i > fs)
 855       {
 856         i--;
 857       }
 858       iv = shiftFrom.get(i);
 859       iv = new int[] { iv[1], iv[0] };// reverse and clone
 860       // truncate initial interval
 861       if (i == fs)
 862       {
 863         iv[0] = startpos;
 864       }
 865       while (--i != fe)
 866       { // fix apparent logic bug when fe==-1
 867         ranges.add(iv); // add (truncated) reversed interval
 868         iv = shiftFrom.get(i);
 869         iv = new int[] { iv[1], iv[0] }; // reverse and clone
 870       }
 871       if (i == fe)
 872       {
 873         // interval is already reversed
 874         iv[1] = endpos;
 875       }
 876       ranges.add(iv); // add only - or final range
 877     }
 878     // create array of start end intervals.
 879     int[] range = null;
 880     if (ranges != null && ranges.size() > 0)
 881     {
 882       range = new int[ranges.size() * 2];
 883       intv = 0;
 884       intvSize = ranges.size();
 885       i = 0;
 886       while (intv < intvSize)
 887       {
 888         iv = ranges.get(intv);
 889         range[i++] = iv[0];
 890         range[i++] = iv[1];
 891         ranges.set(intv++, null); // remove
 892       }
 893     }
 894     return range;
 895   }
 896
 897   /**
 898    * get the 'initial' position of mpos in To
 899    *
 900    * @param mpos
 901    *          position in from
 902    * @return position of first word in to reference frame
 903    */
 904   public int getToPosition(int mpos)
 905   {
 906     // TODO not used - remove??
 907     int[] mp = shiftTo(mpos);
 908     if (mp != null)
 909     {
 910       return mp[0];
 911     }
 912     return mpos;
 913   }
 914
 915   /**
 916    * get range of positions in To frame for the mpos word in From
 917    *
 918    * @param mpos
 919    *          position in From
 920    * @return null or int[] first position in To for mpos, last position in to
 921    *         for Mpos
 922    */
 923   public int[] getToWord(int mpos)
 924   {
 925     int[] mp = shiftTo(mpos);
 926     if (mp != null)
 927     {
 928       return new int[] { mp[0], mp[0] + mp[2] * (getFromRatio() - 1) };
 929     }
 930     return null;
 931   }
 932
 933   /**
 934    * get From position in the associated reference frame for position pos in the
 935    * associated sequence.
 936    *
 937    * @param pos
 938    * @return
 939    */
 940   public int getMappedPosition(int pos)
 941   {
 942     // TODO not used - remove??
 943     int[] mp = shiftFrom(pos);
 944     if (mp != null)
 945     {
 946       return mp[0];
 947     }
 948     return pos;
 949   }
 950
 951   public int[] getMappedWord(int pos)
 952   {
 953     // TODO not used - remove??
 954     int[] mp = shiftFrom(pos);
 955     if (mp != null)
 956     {
 957       return new int[] { mp[0], mp[0] + mp[2] * (getToRatio() - 1) };
 958     }
 959     return null;
 960   }
 961
 962   /**
 963    *
 964    * @return a MapList whose From range is this maplist's To Range, and vice
 965    *         versa
 966    */
 967   public MapList getInverse()
 968   {
 969     return new MapList(getToRanges(), getFromRanges(), getToRatio(),
 970             getFromRatio());
 971   }
 972
 973   /**
 974    * test for containment rather than equivalence to another mapping
 975    *
 976    * @param map
 977    *          to be tested for containment
 978    * @return true if local or mapped range map contains or is contained by this
 979    *         mapping
 980    */
 981   public boolean containsEither(boolean local, MapList map)
 982   {
 983     // TODO not used - remove?
 984     if (local)
 985     {
 986       return ((getFromLowest() >= map.getFromLowest()
 987               && getFromHighest() <= map.getFromHighest())
 988               || (getFromLowest() <= map.getFromLowest()
 989                       && getFromHighest() >= map.getFromHighest()));
 990     }
 991     else
 992     {
 993       return ((getToLowest() >= map.getToLowest()
 994               && getToHighest() <= map.getToHighest())
 995               || (getToLowest() <= map.getToLowest()
 996                       && getToHighest() >= map.getToHighest()));
 997     }
 998   }
 999
1000   /**
1001    * String representation - for debugging, not guaranteed not to change
1002    */
1003   @Override
1004   public String toString()
1005   {
1006     StringBuilder sb = new StringBuilder(64);
1007     sb.append("[");
1008     for (int[] shift : fromShifts)
1009     {
1010       sb.append(" ").append(Arrays.toString(shift));
1011     }
1012     sb.append(" ] ");
1013     sb.append(fromRatio).append(":").append(toRatio);
1014     sb.append(" to [");
1015     for (int[] shift : toShifts)
1016     {
1017       sb.append(" ").append(Arrays.toString(shift));
1018     }
1019     sb.append(" ]");
1020     return sb.toString();
1021   }
1022
1023   /**
1024    * Extend this map list by adding the given map's ranges. There is no
1025    * validation check that the ranges do not overlap existing ranges (or each
1026    * other), but contiguous ranges are merged.
1027    *
1028    * @param map
1029    */
1030   public void addMapList(MapList map)
1031   {
1032     if (this.equals(map))
1033     {
1034       return;
1035     }
1036     this.fromLowest = Math.min(fromLowest, map.fromLowest);
1037     this.toLowest = Math.min(toLowest, map.toLowest);
1038     this.fromHighest = Math.max(fromHighest, map.fromHighest);
1039     this.toHighest = Math.max(toHighest, map.toHighest);
1040
1041     for (int[] range : map.getFromRanges())
1042     {
1043       addRange(range, fromShifts);
1044     }
1045     for (int[] range : map.getToRanges())
1046     {
1047       addRange(range, toShifts);
1048     }
1049   }
1050
1051   /**
1052    * Adds the given range to a list of ranges. If the new range just extends
1053    * existing ranges, the current endpoint is updated instead.
1054    *
1055    * @param range
1056    * @param addTo
1057    */
1058   static void addRange(int[] range, List<int[]> addTo)
1059   {
1060     /*
1061      * list is empty - add to it!
1062      */
1063     if (addTo.size() == 0)
1064     {
1065       addTo.add(range);
1066       return;
1067     }
1068
1069     int[] last = addTo.get(addTo.size() - 1);
1070     boolean lastForward = last[1] >= last[0];
1071     boolean newForward = range[1] >= range[0];
1072
1073     /*
1074      * contiguous range in the same direction - just update endpoint
1075      */
1076     if (lastForward == newForward && last[1] == range[0])
1077     {
1078       last[1] = range[1];
1079       return;
1080     }
1081
1082     /*
1083      * next range starts at +1 in forward sense - update endpoint
1084      */
1085     if (lastForward && newForward && range[0] == last[1] + 1)
1086     {
1087       last[1] = range[1];
1088       return;
1089     }
1090
1091     /*
1092      * next range starts at -1 in reverse sense - update endpoint
1093      */
1094     if (!lastForward && !newForward && range[0] == last[1] - 1)
1095     {
1096       last[1] = range[1];
1097       return;
1098     }
1099
1100     /*
1101      * just add the new range
1102      */
1103     addTo.add(range);
1104   }
1105
1106   /**
1107    * Returns true if mapping is from forward strand, false if from reverse
1108    * strand. Result is just based on the first 'from' range that is not a single
1109    * position. Default is true unless proven to be false. Behaviour is not well
1110    * defined if the mapping has a mixture of forward and reverse ranges.
1111    *
1112    * @return
1113    */
1114   public boolean isFromForwardStrand()
1115   {
1116     return isForwardStrand(getFromRanges());
1117   }
1118
1119   /**
1120    * Returns true if mapping is to forward strand, false if to reverse strand.
1121    * Result is just based on the first 'to' range that is not a single position.
1122    * Default is true unless proven to be false. Behaviour is not well defined if
1123    * the mapping has a mixture of forward and reverse ranges.
1124    *
1125    * @return
1126    */
1127   public boolean isToForwardStrand()
1128   {
1129     return isForwardStrand(getToRanges());
1130   }
1131
1132   /**
1133    * A helper method that returns true unless at least one range has start >
1134    * end. Behaviour is undefined for a mixture of forward and reverse ranges.
1135    *
1136    * @param ranges
1137    * @return
1138    */
1139   private boolean isForwardStrand(List<int[]> ranges)
1140   {
1141     boolean forwardStrand = true;
1142     for (int[] range : ranges)
1143     {
1144       if (range[1] > range[0])
1145       {
1146         break; // forward strand confirmed
1147       }
1148       else if (range[1] < range[0])
1149       {
1150         forwardStrand = false;
1151         break; // reverse strand confirmed
1152       }
1153     }
1154     return forwardStrand;
1155   }
1156
1157   /**
1158    *
1159    * @return true if from, or to is a three to 1 mapping
1160    */
1161   public boolean isTripletMap()
1162   {
1163     return (toRatio == 3 && fromRatio == 1)
1164             || (fromRatio == 3 && toRatio == 1);
1165   }
1166
1167   /**
1168    * Returns a map which is the composite of this one and the input map. That
1169    * is, the output map has the fromRanges of this map, and its toRanges are the
1170    * toRanges of this map as transformed by the input map.
1171    * <p>
1172    * Returns null if the mappings cannot be traversed (not all toRanges of this
1173    * map correspond to fromRanges of the input), or if this.toRatio does not
1174    * match map.fromRatio.
1175    *
1176    * <pre>
1177    * Example 1:
1178    *    this:   from [1-100] to [501-600]
1179    *    input:  from [10-40] to [60-90]
1180    *    output: from [10-40] to [560-590]
1181    * Example 2 ('reverse strand exons'):
1182    *    this:   from [1-100] to [2000-1951], [1000-951] // transcript to loci
1183    *    input:  from [1-50]  to [41-90] // CDS to transcript
1184    *    output: from [10-40] to [1960-1951], [1000-971] // CDS to gene loci
1185    * </pre>
1186    *
1187    * @param map
1188    * @return
1189    */
1190   public MapList traverse(MapList map)
1191   {
1192     if (map == null)
1193     {
1194       return null;
1195     }
1196
1197     /*
1198      * compound the ratios by this rule:
1199      * A:B with M:N gives A*M:B*N
1200      * reduced by greatest common divisor
1201      * so 1:3 with 3:3 is 3:9 or 1:3
1202      * 1:3 with 3:1 is 3:3 or 1:1
1203      * 1:3 with 1:3 is 1:9
1204      * 2:5 with 3:7 is 6:35
1205      */
1206     int outFromRatio = getFromRatio() * map.getFromRatio();
1207     int outToRatio = getToRatio() * map.getToRatio();
1208     int gcd = MathUtils.gcd(outFromRatio, outToRatio);
1209     outFromRatio /= gcd;
1210     outToRatio /= gcd;
1211
1212     List<int[]> toRanges = new ArrayList<>();
1213     for (int[] range : getToRanges())
1214     {
1215       int[] transferred = map.locateInTo(range[0], range[1]);
1216       if (transferred == null || transferred.length % 2 != 0)
1217       {
1218         return null;
1219       }
1220
1221       /*
1222        *  convert [start1, end1, start2, end2, ...]
1223        *  to [[start1, end1], [start2, end2], ...]
1224        */
1225       for (int i = 0; i < transferred.length;)
1226       {
1227         toRanges.add(new int[] { transferred[i], transferred[i + 1] });
1228         i += 2;
1229       }
1230     }
1231
1232     return new MapList(getFromRanges(), toRanges, outFromRatio, outToRatio);
1233   }
1234
1235   /**
1236    * Answers true if the mapping is from one contiguous range to another, else
1237    * false
1238    *
1239    * @return
1240    */
1241   public boolean isContiguous()
1242   {
1243     return fromShifts.size() == 1 && toShifts.size() == 1;
1244   }
1245
1246   /**
1247    * Returns the [start, end, start, end, ...] ranges in the 'from' range that
1248    * map to the given start-end in the 'to' range. Returns null if either
1249    * {@code start} or {@code end} is not a mapped 'to' range position.
1250    *
1251    * @param start
1252    * @param end
1253    * @return
1254    */
1255   public int[] locateInFrom2(int start, int end)
1256   {
1257     List<int[]> ranges = mapBetween(start, end, toShifts, fromShifts,
1258             toRatio, fromRatio);
1259
1260     // TODO: or just return the List and adjust calling code to match
1261     return ranges.isEmpty() ? null : MappingUtils.rangeListToArray(ranges);
1262   }
1263
1264   /**
1265    * Returns the [start, end, start, end, ...] ranges in the 'to' range that map
1266    * to the given start-end in the 'from' range. Returns null if either
1267    * {@code start} or {@code end} is not a mapped 'from' range position.
1268    *
1269    * @param start
1270    * @param end
1271    * @return
1272    */
1273   public int[] locateInTo2(int start, int end)
1274   {
1275     List<int[]> ranges = mapBetween(start, end, fromShifts, toShifts,
1276             fromRatio, toRatio);
1277
1278     return ranges.isEmpty() ? null : MappingUtils.rangeListToArray(ranges);
1279   }
1280
1281   /**
1282    * A helper method for navigating the mapping. Returns a (possibly empty) list
1283    * of [start-end] positions in {@code ranges2} that map to positions in
1284    * {@code ranges1} between {@code start} and {@code end}.
1285    *
1286    * @param start
1287    * @param end
1288    * @param ranges1
1289    * @param ranges2
1290    * @param wordLength1
1291    * @param wordLength2
1292    * @return
1293    */
1294   final static List<int[]> mapBetween(int start, int end,
1295           List<int[]> ranges1, List<int[]> ranges2, int wordLength1,
1296           int wordLength2)
1297   {
1298     /*
1299      * first traverse ranges1 and record count of mapped positions
1300      * to any that overlap start-end
1301      */
1302     List<int[]> overlaps = findOverlapPositions(ranges1, start, end);
1303     if (overlaps.isEmpty())
1304     {
1305       return overlaps;
1306     }
1307
1308     /*
1309      * convert positions to equivalent 'word' positions in ranges
1310      */
1311     mapWords(overlaps, wordLength1, wordLength2);
1312
1313     /*
1314      * walk ranges2 and record the values found at
1315      * the offsets in 'overlaps'
1316      */
1317     List<int[]> mapped = new ArrayList<>();
1318     final int s1 = overlaps.size();
1319     final int s2 = ranges2.size();
1320     int rangeIndex = 0;
1321     int rangeOffset = 0;
1322     int mappedCount = 0;
1323
1324     for (int i = 0 ; i < s1 ; i++)
1325     {
1326       /*
1327        * for each range in overlaps, walk ranges2 and record the values
1328        * at the offsets, advancing rangeIndex / Offset
1329        */
1330       int [] mappedRange = ranges2.get(rangeIndex);
1331       int [] overlap = overlaps.get(s1);
1332       while (mappedCount < overlap[1])
1333       {
1334
1335       }
1336     }
1337
1338     return mapped;
1339   }
1340
1341   /**
1342    * Converts the start-end positions (counted from zero) in the {@code ranges}
1343    * list from one word length to another. Start-end positions are expanded if
1344    * necessary to cover a whole word of length {@code wordLength1}. Positions
1345    * are then divided by {@code wordLength1} and multiplied by
1346    * {@code wordLength2} to give equivalent mapped words.
1347    * <p>
1348    * Put simply, this converts peptide residue positions to the corresponding
1349    * codon ranges, and codons - including partial codons - to the corresponding
1350    * peptide positions; for example
1351    *
1352    * <pre>
1353    * [1, 10] with word lengths 3:1 converts (as if bases [0-11]) to [1, 4]
1354    * </pre>
1355    *
1356    * @param ranges
1357    * @param wordLength1
1358    * @param wordLength2
1359    * @return
1360    */
1361   final static void mapWords(List<int[]> ranges, int wordLength1,
1362           int wordLength2)
1363   {
1364     if (wordLength1 == 1 && wordLength2 == 1)
1365     {
1366       return; // nothing to do here
1367     }
1368     int s = ranges.size();
1369     for (int i = 0; i < s; i++)
1370     {
1371       int[] range = ranges.get(i);
1372
1373       /*
1374        * expand range start to the start of a word,
1375        * and convert to wordLength2
1376        */
1377       range[0] -= range[0] % wordLength1;
1378       range[0] = range[0] / wordLength1 * wordLength2;
1379
1380       /*
1381        * similar calculation for range end, adding
1382        * (wordLength2 - 1) for end of mapped word
1383        */
1384       range[1] -= range[1] % wordLength1;
1385       range[1] = range[1] / wordLength1 * wordLength2;
1386       range[1] += wordLength2 - 1;
1387     }
1388   }
1389
1390   /**
1391    * Helper method that returns a (possibly empty) list of offsets in
1392    * {@code ranges} to subranges that overlap {@code start-end}. The list
1393    * returned holds counts of the number of positions traversed (inclusive) to
1394    * reach the overlapping positions, not the overlapping values. Returns null
1395    * if there are no overlaps.
1396    *
1397    * @param ranges
1398    * @param start
1399    * @param end
1400    * @return
1401    */
1402   final static List<int[]> findOverlapPositions(List<int[]> ranges,
1403           int start, int end)
1404   {
1405     List<int[]> positions = new ArrayList<>();
1406     int pos = 0;
1407     int s = ranges.size();
1408     for (int i = 0; i < s; i++)
1409     {
1410       int[] range = ranges.get(i);
1411       addOverlap(positions, pos, range, start, end);
1412       pos += 1 + Math.abs(range[1] - range[0]);
1413     }
1414     return positions;
1415   }
1416
1417   /**
1418    * A helper method that checks whether {@code range} overlaps
1419    * {@code start-end}, and if so adds the positional offset of the overlap to
1420    * {@code positions}.
1421    *
1422    * @param positions
1423    *          a list of map offsets to add to
1424    * @param pos
1425    *          the number of mapped positions already visited
1426    * @param range
1427    *          a from-to range (may be forward or reverse)
1428    * @param start
1429    *          position to test for overlap in range
1430    * @param end
1431    *          position to test for overlap in range
1432    * @return
1433    */
1434   final static void addOverlap(List<int[]> positions, int pos, int[] range,
1435           int start, int end)
1436   {
1437     if (range[1] >= range[0])
1438     {
1439       /*
1440        * forward direction range
1441        */
1442       if (start <= range[1] && end >= range[0])
1443       {
1444         /*
1445          * overlap
1446          */
1447         int overlapStart = Math.max(start, range[0]);
1448         int overlapEnd = Math.min(end, range[1]);
1449         positions
1450                 .add(new int[]
1451                 { 1 + overlapStart - range[0], 1 + overlapEnd - range[0] });
1452       }
1453     }
1454     else
1455     {
1456       /*
1457        * reverse direction range
1458        */
1459       if (start <= range[0] && end >= range[1])
1460       {
1461         /*
1462          * overlap
1463          */
1464         int overlapStart = Math.max(start, range[1]);
1465         int overlapEnd = Math.min(end, range[0]);
1466         positions
1467                 .add(new int[]
1468                 { 1 + range[0] - overlapStart, 1 + range[0] - overlapEnd });
1469       }
1470     }
1471   }
1472 }