JAL-1926 JAL-2106 source DB refs come from SequenceI.getPrimaryDBRefs()
[jalview.git] / src / jalview / ws / sifts / SiftsClient.java
index 176c511..e08b8cb 100644 (file)
@@ -24,9 +24,12 @@ import jalview.analysis.AlignSeq;
 import jalview.api.DBRefEntryI;
 import jalview.api.SiftsClientI;
 import jalview.datamodel.DBRefEntry;
+import jalview.datamodel.DBRefSource;
 import jalview.datamodel.SequenceI;
+import jalview.io.StructureFile;
 import jalview.schemes.ResidueProperties;
 import jalview.structure.StructureMapping;
+import jalview.util.DBRefUtils;
 import jalview.util.Format;
 import jalview.xml.binding.sifts.Entry;
 import jalview.xml.binding.sifts.Entry.Entity;
@@ -34,94 +37,119 @@ import jalview.xml.binding.sifts.Entry.Entity.Segment;
 import jalview.xml.binding.sifts.Entry.Entity.Segment.ListMapRegion.MapRegion;
 import jalview.xml.binding.sifts.Entry.Entity.Segment.ListResidue.Residue;
 import jalview.xml.binding.sifts.Entry.Entity.Segment.ListResidue.Residue.CrossRefDb;
-import jalview.xml.binding.sifts.Entry.ListDB.Db;
+import jalview.xml.binding.sifts.Entry.Entity.Segment.ListResidue.Residue.ResidueDetail;
 
 import java.io.File;
 import java.io.FileInputStream;
-import java.io.FileNotFoundException;
 import java.io.FileOutputStream;
 import java.io.IOException;
 import java.io.InputStream;
 import java.io.PrintStream;
 import java.net.URL;
 import java.net.URLConnection;
+import java.nio.file.Files;
+import java.nio.file.Path;
+import java.nio.file.attribute.BasicFileAttributes;
 import java.util.ArrayList;
+import java.util.Arrays;
+import java.util.Collection;
+import java.util.Collections;
+import java.util.Date;
+import java.util.HashMap;
 import java.util.HashSet;
-import java.util.LinkedHashMap;
 import java.util.List;
+import java.util.Map;
+import java.util.Set;
+import java.util.TreeMap;
 import java.util.zip.GZIPInputStream;
 
 import javax.xml.bind.JAXBContext;
-import javax.xml.bind.JAXBException;
 import javax.xml.bind.Unmarshaller;
-import javax.xml.stream.FactoryConfigurationError;
 import javax.xml.stream.XMLInputFactory;
-import javax.xml.stream.XMLStreamException;
 import javax.xml.stream.XMLStreamReader;
 
+import MCview.Atom;
+import MCview.PDBChain;
+
 public class SiftsClient implements SiftsClientI
 {
   private Entry siftsEntry;
 
+  private StructureFile pdb;
+
   private String pdbId;
 
   private String structId;
 
-  private String segStartEnd;
+  private CoordinateSys seqCoordSys = CoordinateSys.UNIPROT;
 
   private static final int BUFFER_SIZE = 4096;
 
-  private static final String SIFTS_FTP_BASE_URL = "ftp://ftp.ebi.ac.uk/pub/databases/msd/sifts/xml/";
+  public static final int UNASSIGNED = -1;
+
+  private static final int PDB_RES_POS = 0;
 
-  public static final String DEFAULT_SIFTS_DOWNLOAD_DIR = System
-          .getProperty("user.home")
-          + File.separatorChar
-          + ".sifts_downloads" + File.separatorChar;
+  private static final int PDB_ATOM_POS = 1;
 
-  public static final String SIFTS_DOWNLOAD_DIR = jalview.bin.Cache
-          .getDefault("sifts_download_dir", DEFAULT_SIFTS_DOWNLOAD_DIR);
+  private static final String NOT_OBSERVED = "Not_Observed";
+
+  private static final String SIFTS_FTP_BASE_URL = "http://ftp.ebi.ac.uk/pub/databases/msd/sifts/xml/";
 
   private final static String NEWLINE = System.lineSeparator();
 
-  /**
-   * Fetch SIFTs file for the given PDB Id and construct an instance of
-   * SiftsClient
-   * 
-   * @param pdbId
-   */
-  public SiftsClient(String pdbId)
+  private String curSourceDBRef;
+
+  private HashSet<String> curDBRefAccessionIdsString;
+
+  private enum CoordinateSys
   {
-    this.pdbId = pdbId;
-    try
+    UNIPROT("UniProt"), PDB("PDBresnum"), PDBe("PDBe");
+    private String name;
+
+    private CoordinateSys(String name)
     {
-      File siftsFile = getSiftsFile(pdbId);
-      siftsEntry = parseSIFTs(siftsFile);
-    } catch (Exception e)
+      this.name = name;
+    }
+
+    public String getName()
     {
-      e.printStackTrace();
+      return name;
     }
-  }
+  };
 
-  /**
-   * Construct an instance of SiftsClient using the supplied SIFTs file - 
-   * the SIFTs file should correspond to the given PDB Id
-   * 
-   * @param pdbId
-   * @param siftsFile
-   */
-  public SiftsClient(String pdbId, File siftsFile)
+  private enum ResidueDetailType
   {
-    this.pdbId = pdbId;
-    try
+    NAME_SEC_STRUCTURE("nameSecondaryStructure"), CODE_SEC_STRUCTURE(
+            "codeSecondaryStructure"), ANNOTATION("Annotation");
+    private String code;
+
+    private ResidueDetailType(String code)
     {
-      siftsEntry = parseSIFTs(siftsFile);
-    } catch (Exception e)
+      this.code = code;
+    }
+
+    public String getCode()
     {
-      e.printStackTrace();
+      return code;
     }
+  };
 
+  /**
+   * Fetch SIFTs file for the given PDBfile and construct an instance of
+   * SiftsClient
+   * 
+   * @param pdbId
+   * @throws SiftsException
+   */
+  public SiftsClient(StructureFile pdb) throws SiftsException
+  {
+    this.pdb = pdb;
+    this.pdbId = pdb.getId();
+    File siftsFile = getSiftsFile(pdbId);
+    siftsEntry = parseSIFTs(siftsFile);
   }
 
+
   /**
    * Parse the given SIFTs File and return a JAXB POJO of parsed data
    * 
@@ -131,78 +159,124 @@ public class SiftsClient implements SiftsClientI
    * @throws Exception
    *           if a problem occurs while parsing the SIFTs XML
    */
-  private Entry parseSIFTs(File siftFile) throws Exception
+  private Entry parseSIFTs(File siftFile) throws SiftsException
   {
-    try
+    try (InputStream in = new FileInputStream(siftFile);
+            GZIPInputStream gzis = new GZIPInputStream(in);)
     {
-      System.out.println("File : " + siftFile.getAbsolutePath());
+      // System.out.println("File : " + siftFile.getAbsolutePath());
       JAXBContext jc = JAXBContext.newInstance("jalview.xml.binding.sifts");
-      InputStream in = new FileInputStream(siftFile);
-      GZIPInputStream gzis = new GZIPInputStream(in);
       XMLStreamReader streamReader = XMLInputFactory.newInstance()
               .createXMLStreamReader(gzis);
       Unmarshaller um = jc.createUnmarshaller();
       return (Entry) um.unmarshal(streamReader);
-    } catch (JAXBException e)
-    {
-      e.printStackTrace();
-    } catch (FileNotFoundException e)
-    {
-      e.printStackTrace();
-    } catch (XMLStreamException e)
-    {
-      e.printStackTrace();
-    } catch (FactoryConfigurationError e)
-    {
-      e.printStackTrace();
-    } catch (IOException e)
+    } catch (Exception e)
     {
       e.printStackTrace();
+      throw new SiftsException(e.getMessage());
     }
-    throw new Exception("Error parsing siftFile");
   }
 
   /**
-   * Get a SIFTs XML file for a given PDB Id
+   * Get a SIFTs XML file for a given PDB Id from Cache or download from FTP
+   * repository if not found in cache
    * 
    * @param pdbId
    * @return SIFTs XML file
+   * @throws SiftsException
    */
-  public static File getSiftsFile(String pdbId)
+  public static File getSiftsFile(String pdbId) throws SiftsException
   {
-    File siftsFile = new File(SIFTS_DOWNLOAD_DIR + pdbId.toLowerCase()
-            + ".xml.gz");
+    String siftsFileName = SiftsSettings.getSiftDownloadDirectory()
+            + pdbId.toLowerCase() + ".xml.gz";
+    File siftsFile = new File(siftsFileName);
     if (siftsFile.exists())
     {
-      // TODO it may be worth performing a timestamp age check to determine if a
-      // new SIFTs file should be re-downloaded as SIFTs entries are usually
-      // updated weekly
+      // The line below is required for unit testing... don't comment it out!!!
       System.out.println(">>> SIFTS File already downloaded for " + pdbId);
-      return siftsFile;
+
+      if (isFileOlderThanThreshold(siftsFile,
+              SiftsSettings.getCacheThresholdInDays()))
+      {
+        File oldSiftsFile = new File(siftsFileName + "_old");
+        siftsFile.renameTo(oldSiftsFile);
+        try
+        {
+          siftsFile = downloadSiftsFile(pdbId.toLowerCase());
+          oldSiftsFile.delete();
+          return siftsFile;
+        } catch (IOException e)
+        {
+          e.printStackTrace();
+          oldSiftsFile.renameTo(siftsFile);
+          return new File(siftsFileName);
+        }
+      }
+    }
+    try
+    {
+      siftsFile = downloadSiftsFile(pdbId.toLowerCase());
+    } catch (IOException e)
+    {
+      throw new SiftsException(e.getMessage());
     }
-    siftsFile = downloadSiftsFile(pdbId.toLowerCase());
     return siftsFile;
   }
 
   /**
-   * Download a SIFTs XML file for a given PDB Id
+   * This method enables checking if a cached file has exceeded a certain
+   * threshold(in days)
+   * 
+   * @param file
+   *          the cached file
+   * @param noOfDays
+   *          the threshold in days
+   * @return
+   */
+  public static boolean isFileOlderThanThreshold(File file, int noOfDays)
+  {
+    Path filePath = file.toPath();
+    BasicFileAttributes attr;
+    int diffInDays = 0;
+    try
+    {
+      attr = Files.readAttributes(filePath, BasicFileAttributes.class);
+      diffInDays = (int) ((new Date().getTime() - attr.lastModifiedTime()
+              .toMillis()) / (1000 * 60 * 60 * 24));
+      // System.out.println("Diff in days : " + diffInDays);
+    } catch (IOException e)
+    {
+      e.printStackTrace();
+    }
+    return noOfDays <= diffInDays;
+  }
+
+  /**
+   * Download a SIFTs XML file for a given PDB Id from an FTP repository
    * 
    * @param pdbId
    * @return downloaded SIFTs XML file
+   * @throws SiftsException
+   * @throws IOException
    */
-  public static File downloadSiftsFile(String pdbId)
+  public static File downloadSiftsFile(String pdbId) throws SiftsException,
+          IOException
   {
+    if (pdbId.contains(".cif"))
+    {
+      pdbId = pdbId.replace(".cif", "");
+    }
     String siftFile = pdbId + ".xml.gz";
     String siftsFileFTPURL = SIFTS_FTP_BASE_URL + siftFile;
-    String downloadedSiftsFile = SIFTS_DOWNLOAD_DIR + siftFile;
-    File siftsDownloadDir = new File(SIFTS_DOWNLOAD_DIR);
+    String downloadedSiftsFile = SiftsSettings.getSiftDownloadDirectory()
+            + siftFile;
+    File siftsDownloadDir = new File(
+            SiftsSettings.getSiftDownloadDirectory());
     if (!siftsDownloadDir.exists())
     {
       siftsDownloadDir.mkdirs();
     }
-    try
-    {
-      System.out.println(">> Download ftp url : " + siftsFileFTPURL);
+      // System.out.println(">> Download ftp url : " + siftsFileFTPURL);
       URL url = new URL(siftsFileFTPURL);
       URLConnection conn = url.openConnection();
       InputStream inputStream = conn.getInputStream();
@@ -216,11 +290,7 @@ public class SiftsClient implements SiftsClientI
       }
       outputStream.close();
       inputStream.close();
-      System.out.println(">>> File downloaded : " + downloadedSiftsFile);
-    } catch (IOException ex)
-    {
-      ex.printStackTrace();
-    }
+      // System.out.println(">>> File downloaded : " + downloadedSiftsFile);
     return new File(downloadedSiftsFile);
   }
 
@@ -233,8 +303,8 @@ public class SiftsClient implements SiftsClientI
    */
   public static boolean deleteSiftsFileByPDBId(String pdbId)
   {
-    File siftsFile = new File(SIFTS_DOWNLOAD_DIR + pdbId.toLowerCase()
-            + ".xml.gz");
+    File siftsFile = new File(SiftsSettings.getSiftDownloadDirectory()
+            + pdbId.toLowerCase() + ".xml.gz");
     if (siftsFile.exists())
     {
       return siftsFile.delete();
@@ -242,7 +312,6 @@ public class SiftsClient implements SiftsClientI
     return true;
   }
 
-
   /**
    * Get a valid SIFTs DBRef for the given sequence current SIFTs entry
    * 
@@ -255,64 +324,45 @@ public class SiftsClient implements SiftsClientI
   public DBRefEntryI getValidSourceDBRef(SequenceI seq)
           throws SiftsException
   {
-    DBRefEntryI sourceDBRef = null;
-    sourceDBRef = seq.getSourceDBRef();
-    if (sourceDBRef != null && isValidDBRefEntry(sourceDBRef))
+    List<DBRefEntry> dbRefs = seq.getPrimaryDBRefs();
+    if (dbRefs == null || dbRefs.size() < 1)
     {
-      return sourceDBRef;
+      throw new SiftsException(
+              "Source DBRef could not be determined. DBRefs might not have been retrieved.");
     }
-    else
-    {
-      DBRefEntry[] dbRefs = seq.getDBRefs();
-      if (dbRefs == null || dbRefs.length < 1)
-      {
-        final SequenceI[] seqs = new SequenceI[] { seq };
-        new jalview.ws.DBRefFetcher(seqs, null, null, null, false)
-                .fetchDBRefs(true);
-        dbRefs = seq.getDBRefs();
-      }
 
-      if (dbRefs == null || dbRefs.length < 1)
+    for (DBRefEntry dbRef : dbRefs)
+    {
+      if (dbRef == null || dbRef.getAccessionId() == null
+              || dbRef.getSource() == null)
       {
-        throw new SiftsException("Could not get source DB Ref");
+        continue;
       }
-
-      for (DBRefEntryI dbRef : dbRefs)
+      if (isValidDBRefEntry(dbRef)
+              && dbRef.isPrimary()
+              && (DBRefUtils.getCanonicalName(dbRef.getSource())
+                      .equalsIgnoreCase(DBRefSource.UNIPROT) || DBRefUtils
+                      .getCanonicalName(dbRef.getSource())
+                      .equalsIgnoreCase(DBRefSource.PDB)))
       {
-        if (dbRef == null || dbRef.getAccessionId() == null
-                || dbRef.getSource() == null)
-        {
-          continue;
-        }
-        if (isFoundInSiftsEntry(dbRef.getAccessionId())
-                && (dbRef.getSource().equalsIgnoreCase("uniprot") || dbRef
-                        .getSource().equalsIgnoreCase("pdb")))
-        {
-          return dbRef;
-        }
+        return dbRef;
       }
     }
-    if (sourceDBRef != null && isValidDBRefEntry(sourceDBRef))
-    {
-      return sourceDBRef;
-    }
     throw new SiftsException("Could not get source DB Ref");
   }
 
-
   /**
-   * Check that the DBRef Entry is properly populated and is available in the
-   * instantiated SIFTs Entry
+   * Check that the DBRef Entry is properly populated and is available in this
+   * SiftClient instance
    * 
    * @param entry
    *          - DBRefEntry to validate
    * @return true validation is successful otherwise false is returned.
    */
-  private boolean isValidDBRefEntry(DBRefEntryI entry)
+  boolean isValidDBRefEntry(DBRefEntryI entry)
   {
     return entry != null && entry.getAccessionId() != null
             && isFoundInSiftsEntry(entry.getAccessionId());
-    // & entry.getStartRes() > 0;
   }
 
   @Override
@@ -329,7 +379,8 @@ public class SiftsClient implements SiftsClientI
                 .getMapRegion();
         for (MapRegion mapRegion : mapRegions)
         {
-          accessions.add(mapRegion.getDb().getDbAccessionId());
+          accessions
+                  .add(mapRegion.getDb().getDbAccessionId().toLowerCase());
         }
       }
     }
@@ -359,198 +410,532 @@ public class SiftsClient implements SiftsClientI
         mappingDetails.append(NEWLINE);
       }
     };
-    int[][] mapping = getGreedyMapping(chain, seq, ps);
+    HashMap<Integer, int[]> mapping = getGreedyMapping(chain, seq, ps);
 
     String mappingOutput = mappingDetails.toString();
-    return new StructureMapping(seq, pdbFile, pdbId, chain, mapping,
-            mappingOutput);
+    StructureMapping siftsMapping = new StructureMapping(seq, pdbFile,
+            pdbId, chain, mapping, mappingOutput);
+    return siftsMapping;
   }
 
   @Override
-  public int[][] getGreedyMapping(String entityId, SequenceI seq,
-          java.io.PrintStream os)
- throws SiftsException
+  public HashMap<Integer, int[]> getGreedyMapping(String entityId,
+          SequenceI seq, java.io.PrintStream os) throws SiftsException
   {
-    int matchedResStart = -1;
-    int matchedResEnd = -1;
-    int counter = 0;
-    int pdbStart = -1;
-    int pdbEnd = -1;
-    int sStart = -1;
-    int sEnd = -1;
-    boolean startDetected = false;
-
-    System.out.println("Generating mappings for : " + entityId);
+    List<Integer> omitNonObserved = new ArrayList<Integer>();
+    int nonObservedShiftIndex = 0;
+    // System.out.println("Generating mappings for : " + entityId);
     Entity entity = null;
     entity = getEntityById(entityId);
-    String seqStr = AlignSeq.extractGaps(jalview.util.Comparison.GapChars,
-            seq.getSequenceAsString());
-    int mapping[][] = new int[seqStr.length() + seq.getStart()][2];
-    DBRefEntryI sourceDBRef = seq.getSourceDBRef();
-    if (sourceDBRef == null)
+    String originalSeq = AlignSeq.extractGaps(
+            jalview.util.Comparison.GapChars, seq.getSequenceAsString());
+    HashMap<Integer, int[]> mapping = new HashMap<Integer, int[]>();
+    DBRefEntryI sourceDBRef;
+    sourceDBRef = getValidSourceDBRef(seq);
+    // TODO ensure sequence start/end is in the same coordinate system and
+    // consistent with the choosen sourceDBRef
+
+    // set sequence coordinate system - default value is UniProt
+    if (sourceDBRef.getSource().equalsIgnoreCase(DBRefSource.PDB))
     {
-      sourceDBRef = getValidSourceDBRef(seq);
-      // TODO update sequence start/end with sourceDBRef start/end
-      // seq.setStart(sourceDBRef.getStartRes());
-      // seq.setEnd(sourceDBRef.getEndRes());
+      seqCoordSys = CoordinateSys.PDB;
     }
 
-    String crossRefAccessionId = sourceDBRef.getAccessionId();
-    int count = 0;
-    for (int residue[] : mapping)
+    HashSet<String> dbRefAccessionIdsString = new HashSet<String>();
+    for (DBRefEntry dbref : seq.getDBRefs())
     {
-      residue[1] = count++;
-      residue[0] = -1;
+      dbRefAccessionIdsString.add(dbref.getAccessionId().toLowerCase());
     }
-    
-    LinkedHashMap<Integer, String> resNumMap = new LinkedHashMap<Integer, String>();
+    dbRefAccessionIdsString.add(sourceDBRef.getAccessionId().toLowerCase());
+
+    curDBRefAccessionIdsString = dbRefAccessionIdsString;
+    curSourceDBRef = sourceDBRef.getAccessionId();
+
+    TreeMap<Integer, String> resNumMap = new TreeMap<Integer, String>();
     List<Segment> segments = entity.getSegment();
+    SegmentHelperPojo shp = new SegmentHelperPojo(seq, mapping, resNumMap,
+            omitNonObserved, nonObservedShiftIndex);
+    processSegments(segments, shp);
+    try
+    {
+      populateAtomPositions(entityId, mapping);
+    } catch (Exception e)
+    {
+      e.printStackTrace();
+    }
+    if (seqCoordSys == CoordinateSys.UNIPROT)
+    {
+      padWithGaps(resNumMap, omitNonObserved);
+    }
+    int seqStart = UNASSIGNED;
+    int seqEnd = UNASSIGNED;
+    int pdbStart = UNASSIGNED;
+    int pdbEnd = UNASSIGNED;
+
+    Integer[] keys = mapping.keySet().toArray(new Integer[0]);
+    Arrays.sort(keys);
+    if (keys.length < 1)
+    {
+      throw new SiftsException(">>> Empty SIFTS mapping generated!!");
+    }
+    seqStart = keys[0];
+    seqEnd = keys[keys.length - 1];
+
+    String matchedSeq = originalSeq;
+    if (seqStart != UNASSIGNED)
+    {
+      pdbStart = mapping.get(seqStart)[PDB_RES_POS];
+      pdbEnd = mapping.get(seqEnd)[PDB_RES_POS];
+      int orignalSeqStart = seq.getStart();
+      if (orignalSeqStart >= 1)
+      {
+        int subSeqStart = (seqStart >= orignalSeqStart) ? seqStart
+                - orignalSeqStart : 0;
+        int subSeqEnd = seqEnd - (orignalSeqStart - 1);
+        subSeqEnd = originalSeq.length() < subSeqEnd ? originalSeq.length()
+                : subSeqEnd;
+        matchedSeq = originalSeq.substring(subSeqStart, subSeqEnd);
+      }
+      else
+      {
+        matchedSeq = originalSeq.substring(1, originalSeq.length());
+      }
+    }
+
+    StringBuilder targetStrucSeqs = new StringBuilder();
+    for (String res : resNumMap.values())
+    {
+      targetStrucSeqs.append(res);
+    }
+
+    if (os != null)
+    {
+      MappingOutputPojo mop = new MappingOutputPojo();
+      mop.setSeqStart(pdbStart);
+      mop.setSeqEnd(pdbEnd);
+      mop.setSeqName(seq.getName());
+      mop.setSeqResidue(matchedSeq);
+
+      mop.setStrStart(seqStart);
+      mop.setStrEnd(seqEnd);
+      mop.setStrName(structId);
+      mop.setStrResidue(targetStrucSeqs.toString());
+
+      mop.setType("pep");
+      os.print(getMappingOutput(mop).toString());
+      os.println();
+    }
+    return mapping;
+  }
+
+  void processSegments(List<Segment> segments, SegmentHelperPojo shp)
+  {
+    SequenceI seq = shp.getSeq();
+    HashMap<Integer, int[]> mapping = shp.getMapping();
+    TreeMap<Integer, String> resNumMap = shp.getResNumMap();
+    List<Integer> omitNonObserved = shp.getOmitNonObserved();
+    int nonObservedShiftIndex = shp.getNonObservedShiftIndex();
     for (Segment segment : segments)
     {
-      segStartEnd = segment.getStart() + " - " + segment.getEnd();
-      System.out.println("Mappging segments : " + segment.getSegId() + "\\"
-              + segStartEnd);
+      // System.out.println("Mapping segments : " + segment.getSegId() + "\\"s
+      // + segStartEnd);
       List<Residue> residues = segment.getListResidue().getResidue();
       for (Residue residue : residues)
       {
-        int refDbResNum = -1;
+        int currSeqIndex = UNASSIGNED;
         List<CrossRefDb> cRefDbs = residue.getCrossRefDb();
+        CrossRefDb pdbRefDb = null;
         for (CrossRefDb cRefDb : cRefDbs)
         {
-          if (cRefDb.getDbAccessionId().equalsIgnoreCase(
-                  crossRefAccessionId))
+          if (cRefDb.getDbSource().equalsIgnoreCase(DBRefSource.PDB))
+          {
+            pdbRefDb = cRefDb;
+          }
+          if (cRefDb.getDbCoordSys()
+                  .equalsIgnoreCase(seqCoordSys.getName())
+                  && isAccessionMatched(cRefDb.getDbAccessionId()))
           {
-            refDbResNum = Integer.valueOf(cRefDb.getDbResNum());
+            String resNumIndexString = cRefDb.getDbResNum()
+                    .equalsIgnoreCase("None") ? String.valueOf(UNASSIGNED)
+                    : cRefDb.getDbResNum();
+            try
+            {
+              currSeqIndex = Integer.valueOf(resNumIndexString);
+            } catch (NumberFormatException nfe)
+            {
+              currSeqIndex = Integer.valueOf(resNumIndexString
+                      .split("[a-zA-Z]")[0]);
+              continue;
+            }
+            if (pdbRefDb != null)
+            {
+              break;// exit loop if pdb and uniprot are already found
+            }
           }
         }
-        if (refDbResNum == -1)
+        if (currSeqIndex == UNASSIGNED)
         {
           continue;
         }
-        int loopCount = 0;
-        for (int[] x : mapping)
+        if (currSeqIndex >= seq.getStart() && currSeqIndex <= seq.getEnd())
         {
-          if (loopCount > seq.getStart() && x[1] == refDbResNum)
+          int resNum;
+          try
+          {
+            resNum = (pdbRefDb == null) ? Integer.valueOf(residue
+                    .getDbResNum()) : Integer.valueOf(pdbRefDb
+                    .getDbResNum());
+          } catch (NumberFormatException nfe)
+          {
+            resNum = (pdbRefDb == null) ? Integer.valueOf(residue
+                    .getDbResNum()) : Integer.valueOf(pdbRefDb
+                    .getDbResNum().split("[a-zA-Z]")[0]);
+            continue;
+          }
+
+          if (isResidueObserved(residue)
+                  || seqCoordSys == CoordinateSys.UNIPROT)
           {
-            int resNum = Integer.valueOf(residue.getDbResNum());
-            x[0] = resNum;
             char resCharCode = ResidueProperties
-                    .getSingleCharacterCode(residue.getDbResName());
-            resNumMap.put(resNum, String.valueOf(resCharCode));
+                    .getSingleCharacterCode(ResidueProperties
+                            .getCanonicalAminoAcid(residue.getDbResName()));
+            resNumMap.put(currSeqIndex, String.valueOf(resCharCode));
           }
-          ++loopCount;
+          else
+          {
+            omitNonObserved.add(currSeqIndex);
+            ++nonObservedShiftIndex;
+          }
+          mapping.put(currSeqIndex - nonObservedShiftIndex, new int[] {
+              Integer.valueOf(resNum), UNASSIGNED });
         }
       }
     }
-
-    for (int[] x : mapping)
+  }
+  /**
+   * 
+   * @param chainId
+   *          Target chain to populate mapping of its atom positions.
+   * @param mapping
+   *          Two dimension array of residue index versus atom position
+   * @throws IllegalArgumentException
+   *           Thrown if chainId or mapping is null
+   * @throws SiftsException
+   */
+  void populateAtomPositions(String chainId, Map<Integer, int[]> mapping)
+          throws IllegalArgumentException, SiftsException
+  {
+    try
     {
-      if (!startDetected && x[0] > -1)
+      PDBChain chain = pdb.findChain(chainId);
+
+      if (chain == null || mapping == null)
       {
-        matchedResStart = counter;
-        // System.out.println(matchedResStart);
-        startDetected = true;
+        throw new IllegalArgumentException(
+                "Chain id or mapping must not be null.");
       }
-
-      if (startDetected && x[0] == -1)
+      for (int[] map : mapping.values())
       {
-        matchedResEnd = counter;
+        if (map[PDB_RES_POS] != UNASSIGNED)
+        {
+          map[PDB_ATOM_POS] = getAtomIndex(map[PDB_RES_POS], chain.atoms);
+        }
       }
-      ++counter;
+    } catch (NullPointerException e)
+    {
+      throw new SiftsException(e.getMessage());
+    } catch (Exception e)
+    {
+      throw new SiftsException(e.getMessage());
     }
+  }
 
-    String matchedSeqStr = seqStr;
-    if (matchedResStart != -1)
+  /**
+   * 
+   * @param residueIndex
+   *          The residue index used for the search
+   * @param atoms
+   *          A collection of Atom to search
+   * @return atom position for the given residue index
+   */
+  int getAtomIndex(int residueIndex, Collection<Atom> atoms)
+  {
+    if (atoms == null)
     {
-      matchedResEnd = (matchedResEnd == -1) ? counter : matchedResEnd;
-      pdbStart = mapping[matchedResStart][0];
-      pdbEnd = mapping[matchedResEnd - 1][0];
-      sStart = mapping[matchedResStart][1];
-      sEnd = mapping[matchedResEnd - 1][1];
-      int seqStart = seq.getStart();
-      if (seqStart > 1)
-      {
-        matchedResStart = matchedResStart - seqStart;
-        matchedResEnd = matchedResEnd - seqStart;
-      }
-      else
+      throw new IllegalArgumentException(
+              "atoms collection must not be null!");
+    }
+    for (Atom atom : atoms)
+    {
+      if (atom.resNumber == residueIndex)
       {
-        --matchedResStart;
-        --matchedResEnd;
+        return atom.atomIndex;
       }
-      matchedSeqStr = seqStr.substring(matchedResStart, matchedResEnd);
     }
+    return UNASSIGNED;
+  }
 
-    StringBuilder targetStrucSeqs = new StringBuilder();
-    for (String res : resNumMap.values())
+  /**
+   * Checks if the residue instance is marked 'Not_observed' or not
+   * 
+   * @param residue
+   * @return
+   */
+  private boolean isResidueObserved(Residue residue)
+  {
+    Set<String> annotations = getResidueAnnotaitons(residue,
+            ResidueDetailType.ANNOTATION);
+    if (annotations == null || annotations.isEmpty())
     {
-      targetStrucSeqs.append(res);
+      return true;
     }
-
-    try
+    for (String annotation : annotations)
     {
-      if (os != null)
+      if (annotation.equalsIgnoreCase(NOT_OBSERVED))
       {
-        MappingOutputPojo mop = new MappingOutputPojo();
-        mop.setSeqStart(sStart);
-        mop.setSeqEnd(sEnd);
-        mop.setSeqName(seq.getName());
-        mop.setSeqResidue(matchedSeqStr);
-
-        mop.setStrStart(pdbStart);
-        mop.setStrEnd(pdbEnd);
-        mop.setStrName(structId);
-        mop.setStrResidue(targetStrucSeqs.toString());
-
-        mop.setType("pep");
-        os.print(getMappingOutput(mop).toString());
+        return false;
       }
-    } catch (Exception ex)
+    }
+    return true;
+  }
+
+  /**
+   * Get annotation String for a given residue and annotation type
+   * 
+   * @param residue
+   * @param type
+   * @return
+   */
+  private Set<String> getResidueAnnotaitons(Residue residue,
+          ResidueDetailType type)
+  {
+    HashSet<String> foundAnnotations = new HashSet<String>();
+    List<ResidueDetail> resDetails = residue.getResidueDetail();
+    for (ResidueDetail resDetail : resDetails)
     {
-      ex.printStackTrace();
+      if (resDetail.getProperty().equalsIgnoreCase(type.getCode()))
+      {
+        foundAnnotations.add(resDetail.getContent());
+      }
     }
-    return mapping;
+    return foundAnnotations;
   }
 
   @Override
-  public boolean isFoundInSiftsEntry(String accessionId)
+  public boolean isAccessionMatched(String accession)
+  {
+    boolean isStrictMatch = true;
+    return isStrictMatch ? curSourceDBRef.equalsIgnoreCase(accession)
+            : curDBRefAccessionIdsString.contains(accession.toLowerCase());
+  }
+
+  private boolean isFoundInSiftsEntry(String accessionId)
   {
+    Set<String> siftsDBRefs = getAllMappingAccession();
     return accessionId != null
-            && getAllMappingAccession().contains(accessionId);
+            && siftsDBRefs.contains(accessionId.toLowerCase());
   }
 
+  /**
+   * Pad omitted residue positions in PDB sequence with gaps
+   * 
+   * @param resNumMap
+   */
+  void padWithGaps(Map<Integer, String> resNumMap,
+          List<Integer> omitNonObserved)
+  {
+    if (resNumMap == null || resNumMap.isEmpty())
+    {
+      return;
+    }
+    Integer[] keys = resNumMap.keySet().toArray(new Integer[0]);
+    // Arrays.sort(keys);
+    int firstIndex = keys[0];
+    int lastIndex = keys[keys.length - 1];
+    // System.out.println("Min value " + firstIndex);
+    // System.out.println("Max value " + lastIndex);
+    for (int x = firstIndex; x <= lastIndex; x++)
+    {
+      if (!resNumMap.containsKey(x) && !omitNonObserved.contains(x))
+      {
+        resNumMap.put(x, "-");
+      }
+    }
+  }
+
+
 
   @Override
   public Entity getEntityById(String id) throws SiftsException
   {
+    // Determines an entity to process by performing a heuristic matching of all
+    // Entities with the given chainId and choosing the best matching Entity
+    Entity entity = getEntityByMostOptimalMatchedId(id);
+    if (entity != null)
+    {
+      return entity;
+    }
+    throw new SiftsException("Entity " + id + " not found");
+  }
+
+  /**
+   * This method was added because EntityId is NOT always equal to ChainId.
+   * Hence, it provides the logic to greedily detect the "true" Entity for a
+   * given chainId where discrepancies exist.
+   * 
+   * @param chainId
+   * @return
+   */
+  public Entity getEntityByMostOptimalMatchedId(String chainId)
+  {
+    // System.out.println("---> advanced greedy entityId matching block entered..");
     List<Entity> entities = siftsEntry.getEntity();
+    SiftsEntitySortPojo[] sPojo = new SiftsEntitySortPojo[entities.size()];
+    int count = 0;
     for (Entity entity : entities)
     {
-      if (!entity.getEntityId().equalsIgnoreCase(id))
+      sPojo[count] = new SiftsEntitySortPojo();
+      sPojo[count].entityId = entity.getEntityId();
+
+      List<Segment> segments = entity.getSegment();
+      for (Segment segment : segments)
       {
-        continue;
+        List<Residue> residues = segment.getListResidue().getResidue();
+        for (Residue residue : residues)
+        {
+          List<CrossRefDb> cRefDbs = residue.getCrossRefDb();
+          for (CrossRefDb cRefDb : cRefDbs)
+          {
+            if (!cRefDb.getDbSource().equalsIgnoreCase("PDB"))
+            {
+              continue;
+            }
+            ++sPojo[count].resCount;
+            if (cRefDb.getDbChainId().equalsIgnoreCase(chainId))
+            {
+              ++sPojo[count].chainIdFreq;
+            }
+          }
+        }
       }
-      return entity;
+      sPojo[count].pid = (100 * sPojo[count].chainIdFreq)
+              / sPojo[count].resCount;
+      ++count;
     }
-    throw new SiftsException("Entity " + id + " not found");
+    Arrays.sort(sPojo, Collections.reverseOrder());
+    // System.out.println("highest matched entity : " + sPojo[0].entityId);
+    // System.out.println("highest matched pid : " + sPojo[0].pid);
+
+    if (sPojo[0].entityId != null)
+    {
+      for (Entity entity : entities)
+      {
+        if (!entity.getEntityId().equalsIgnoreCase(sPojo[0].entityId))
+        {
+          continue;
+        }
+        return entity;
+      }
+    }
+    return null;
   }
 
-  @Override
-  public String[] getEntryDBs()
+  private class SiftsEntitySortPojo implements
+          Comparable<SiftsEntitySortPojo>
   {
-    System.out.println("\nListing DB entries...");
-    List<String> availDbs = new ArrayList<String>();
-    List<Db> dbs = siftsEntry.getListDB().getDb();
-    for (Db db : dbs)
+    public String entityId;
+
+    public int chainIdFreq;
+
+    public int pid;
+
+    public int resCount;
+
+    @Override
+    public int compareTo(SiftsEntitySortPojo o)
     {
-      availDbs.add(db.getDbSource());
-      System.out.println(db.getDbSource() + " | " + db.getDbCoordSys());
+      return this.pid - o.pid;
+    }
+  }
+
+  private class SegmentHelperPojo
+  {
+    private SequenceI seq;
+
+    private HashMap<Integer, int[]> mapping;
+
+    private TreeMap<Integer, String> resNumMap;
+
+    private List<Integer> omitNonObserved;
+
+    private int nonObservedShiftIndex;
+
+    public SegmentHelperPojo(SequenceI seq,
+            HashMap<Integer, int[]> mapping,
+            TreeMap<Integer, String> resNumMap,
+            List<Integer> omitNonObserved, int nonObservedShiftIndex)
+    {
+      setSeq(seq);
+      setMapping(mapping);
+      setResNumMap(resNumMap);
+      setOmitNonObserved(omitNonObserved);
+      setNonObservedShiftIndex(nonObservedShiftIndex);
+    }
+
+    public SequenceI getSeq()
+    {
+      return seq;
+    }
+
+    public void setSeq(SequenceI seq)
+    {
+      this.seq = seq;
+    }
+
+    public HashMap<Integer, int[]> getMapping()
+    {
+      return mapping;
+    }
+
+    public void setMapping(HashMap<Integer, int[]> mapping)
+    {
+      this.mapping = mapping;
+    }
+
+    public TreeMap<Integer, String> getResNumMap()
+    {
+      return resNumMap;
+    }
+
+    public void setResNumMap(TreeMap<Integer, String> resNumMap)
+    {
+      this.resNumMap = resNumMap;
+    }
+
+    public List<Integer> getOmitNonObserved()
+    {
+      return omitNonObserved;
+    }
+
+    public void setOmitNonObserved(List<Integer> omitNonObserved)
+    {
+      this.omitNonObserved = omitNonObserved;
+    }
+
+    public int getNonObservedShiftIndex()
+    {
+      return nonObservedShiftIndex;
+    }
+
+    public void setNonObservedShiftIndex(int nonObservedShiftIndex)
+    {
+      this.nonObservedShiftIndex = nonObservedShiftIndex;
     }
-    return availDbs.toArray(new String[0]);
   }
 
   @Override
   public StringBuffer getMappingOutput(MappingOutputPojo mp)
+          throws SiftsException
   {
     String seqRes = mp.getSeqResidue();
     String seqName = mp.getSeqName();
@@ -561,20 +946,21 @@ public class SiftsClient implements SiftsClientI
     String strName = mp.getStrName();
     int pdbStart = mp.getStrStart();
     int pdbEnd = mp.getStrEnd();
-    
+
     String type = mp.getType();
-    
+
     int maxid = (seqName.length() >= strName.length()) ? seqName.length()
             : strName.length();
     int len = 72 - maxid - 1;
 
-    // int nochunks = 2;// mp.getWrapHeight();
     int nochunks = ((seqRes.length()) / len)
             + ((seqRes.length()) % len > 0 ? 1 : 0);
     // output mappings
     StringBuffer output = new StringBuffer();
     output.append(NEWLINE);
-    output.append("Sequence ⟷ Structure mapping details:");
+    output.append("Sequence \u27f7 Structure mapping details").append(
+            NEWLINE);
+    output.append("Method: SIFTS");
     output.append(NEWLINE).append(NEWLINE);
 
     output.append(new Format("%" + maxid + "s").form(seqName));
@@ -590,8 +976,8 @@ public class SiftsClient implements SiftsClientI
     output.append(" - ");
     output.append(String.valueOf(pdbEnd));
     output.append(NEWLINE).append(NEWLINE);
-    
-    float pid = 0;
+
+    int matchedSeqCount = 0;
     for (int j = 0; j < nochunks; j++)
     {
       // Print the first aligned sequence
@@ -612,31 +998,38 @@ public class SiftsClient implements SiftsClientI
       // Print out the matching chars
       for (int i = 0; i < len; i++)
       {
-        if ((i + (j * len)) < seqRes.length())
+        try
         {
-          if (seqRes.charAt(i + (j * len)) == strRes.charAt(i + (j * len))
-                  && !jalview.util.Comparison.isGap(seqRes.charAt(i
-                          + (j * len))))
-          {
-            pid++;
-            output.append("|");
-          }
-          else if (type.equals("pep"))
+          if ((i + (j * len)) < seqRes.length())
           {
-            if (ResidueProperties.getPAM250(seqRes.charAt(i + (j * len)),
-                    strRes.charAt(i + (j * len))) > 0)
+            if (seqRes.charAt(i + (j * len)) == strRes
+                    .charAt(i + (j * len))
+                    && !jalview.util.Comparison.isGap(seqRes.charAt(i
+                            + (j * len))))
+            {
+              matchedSeqCount++;
+              output.append("|");
+            }
+            else if (type.equals("pep"))
             {
-              output.append(".");
+              if (ResidueProperties.getPAM250(seqRes.charAt(i + (j * len)),
+                      strRes.charAt(i + (j * len))) > 0)
+              {
+                output.append(".");
+              }
+              else
+              {
+                output.append(" ");
+              }
             }
             else
             {
               output.append(" ");
             }
           }
-          else
-          {
-            output.append(" ");
-          }
+        } catch (IndexOutOfBoundsException e)
+        {
+          continue;
         }
       }
       // Now print the second aligned sequence
@@ -652,15 +1045,17 @@ public class SiftsClient implements SiftsClientI
       }
       output.append(NEWLINE).append(NEWLINE);
     }
-    pid = pid / (seqRes.length()) * 100;
-    output.append("Length of alignment = " + seqRes.length())
-            .append(NEWLINE);
+    float pid = (float) matchedSeqCount / seqRes.length() * 100;
+    if (pid < SiftsSettings.getFailSafePIDThreshold())
+    {
+      throw new SiftsException(">>> Low PID detected for SIFTs mapping...");
+    }
+    output.append("Length of alignment = " + seqRes.length()).append(
+            NEWLINE);
     output.append(new Format("Percentage ID = %2.2f").form(pid));
-    output.append(NEWLINE);
-    output.append("Mapping method: SIFTS").append(NEWLINE);
     return output;
   }
-  
+
   @Override
   public int getEntityCount()
   {
@@ -680,12 +1075,6 @@ public class SiftsClient implements SiftsClientI
   }
 
   @Override
-  public String getDbEvidence()
-  {
-    return siftsEntry.getDbEvidence();
-  }
-
-  @Override
   public String getDbSource()
   {
     return siftsEntry.getDbSource();
@@ -696,4 +1085,5 @@ public class SiftsClient implements SiftsClientI
   {
     return siftsEntry.getDbVersion();
   }
+
 }