src/org/vamsas/client/simpleclient/VamsasArchive.java

   1 package org.vamsas.client.simpleclient;
   2
   3 import java.io.BufferedInputStream;
   4 import java.io.BufferedOutputStream;
   5 import java.io.DataOutputStream;
   6 import java.io.File;
   7 import java.io.IOException;
   8 import java.io.InputStream;
   9 import java.io.InputStreamReader;
  10 import java.io.OutputStream;
  11 import java.io.OutputStreamWriter;
  12 import java.io.PrintWriter;
  13 import java.util.Hashtable;
  14 import java.util.Iterator;
  15 import java.util.Vector;
  16 import java.util.jar.JarEntry;
  17 import java.util.jar.JarOutputStream;
  18 import java.util.jar.Manifest;
  19
  20 import org.apache.commons.logging.Log;
  21 import org.apache.commons.logging.LogFactory;
  22 import org.vamsas.client.ClientHandle;
  23 import org.vamsas.client.IVorbaIdFactory;
  24 import org.vamsas.client.SessionHandle;
  25 import org.vamsas.client.UserHandle;
  26 import org.vamsas.client.VorbaIdFactory;
  27 import org.vamsas.client.VorbaXmlBinder;
  28 import org.vamsas.client.Vobject;
  29 import org.vamsas.objects.core.ApplicationData;
  30 import org.vamsas.objects.core.VAMSAS;
  31 import org.vamsas.objects.core.VamsasDocument;
  32 import org.vamsas.objects.utils.AppDataReference;
  33 import org.vamsas.objects.utils.DocumentStuff;
  34 import org.vamsas.objects.utils.ProvenanceStuff;
  35 import org.vamsas.objects.utils.document.VersionEntries;
  36
  37 /**
  38  * Class for high-level io and Jar manipulation involved in creating
  39  * or updating a vamsas archive (with backups).
  40  * Writes to a temporary file and then swaps new file for backup.
  41  * uses the sessionFile locking mechanism for safe I/O
  42  * @author jimp
  43  *
  44  */
  45 public class VamsasArchive {
  46   private static Log log = LogFactory.getLog(VamsasArchive.class);
  47   /**
  48    * Access original document if it exists, and get VAMSAS root objects.
  49    * @return vector of vamsas roots from original document
  50    * @throws IOException
  51    */
  52   public static Vobject[] getOriginalRoots(VamsasArchive ths) throws IOException,
  53   org.exolab.castor.xml.MarshalException, org.exolab.castor.xml.ValidationException {
  54     VamsasArchiveReader oReader = ths.getOriginalArchiveReader();
  55     if (oReader!=null) {
  56
  57       if (oReader.isValid()) {
  58         InputStreamReader vdoc = new InputStreamReader(oReader.getVamsasDocumentStream());
  59         VamsasDocument doc = VamsasDocument.unmarshal(vdoc);
  60         if (doc!=null)
  61           return doc.getVAMSAS();
  62         // TODO ensure embedded appDatas are garbage collected to save memory
  63       } else {
  64         InputStream vxmlis = oReader.getVamsasXmlStream();
  65         if (vxmlis!=null) { // Might be an old vamsas file.
  66           BufferedInputStream ixml = new BufferedInputStream(oReader.getVamsasXmlStream());
  67           InputStreamReader vxml = new InputStreamReader(ixml);
  68           VAMSAS root[] = new VAMSAS[1];
  69           root[0] = VAMSAS.unmarshal(vxml);
  70           if (root[0]!=null)
  71             return root;
  72         }
  73       }
  74     }
  75     return null;
  76   }
  77   /**
  78    * Access the original vamsas document for a VamsasArchive class, and return it.
  79    * Users of the VamsasArchive class should use the getVamsasDocument method to retrieve
  80    * the current document - only use this one if you want the 'backup' version.
  81    * TODO: catch OutOfMemoryError - they are likely to occur here.
  82    * NOTE: vamsas.xml datastreams are constructed as 'ALPHA_VERSION' vamsas documents.
  83    * @param ths
  84    * @return null if no document exists.
  85    * @throws IOException
  86    * @throws org.exolab.castor.xml.MarshalException
  87    * @throws org.exolab.castor.xml.ValidationException
  88    */
  89   public static VamsasDocument getOriginalVamsasDocument(VamsasArchive ths) throws IOException,
  90   org.exolab.castor.xml.MarshalException, org.exolab.castor.xml.ValidationException {
  91     return VamsasArchive.getOriginalVamsasDocument(ths, null);
  92   }
  93   /**
  94    * Uses VorbaXmlBinder to retrieve the VamsasDocument from the original archive referred to by ths
  95    * @param ths
  96    * @param vorba
  97    * @return
  98    * @throws IOException
  99    * @throws org.exolab.castor.xml.MarshalException
 100    * @throws org.exolab.castor.xml.ValidationException
 101    */
 102   public static VamsasDocument getOriginalVamsasDocument(VamsasArchive ths, VorbaIdFactory vorba) throws IOException,
 103   org.exolab.castor.xml.MarshalException, org.exolab.castor.xml.ValidationException {
 104     VamsasArchiveReader oReader = ths.getOriginalArchiveReader();
 105     if (oReader!=null) {
 106       ths.setVorba(vorba);
 107       return ths.vorba.getVamsasDocument(oReader);
 108     }
 109     // otherwise - there was no valid original document to read.
 110     return null;
 111   }
 112   /**
 113    * destination of new archive data (tempfile if virginarchive=true, original archive location otherwise)
 114    */
 115   java.io.File archive=null;
 116   /**
 117    * locked IO handler for new archive file
 118    */
 119   SessionFile rchive=null;
 120   /**
 121    * original archive file to be updated (or null if virgin) where new data will finally reside
 122    */
 123   java.io.File original=null;
 124   /**
 125    * original archive IO handler
 126    */
 127   SessionFile odoclock = null;
 128   Lock destinationLock = null;
 129   /**
 130    * Original archive reader class
 131    */
 132   VamsasArchiveReader odoc = null;
 133   /**
 134    * true if a real vamsas document is being written.
 135    */
 136   boolean vamsasdocument=true;
 137   /**
 138    * Output stream for archived data
 139    */
 140   JarOutputStream newarchive=null;
 141   /**
 142    * JarEntries written to archive
 143    */
 144   Hashtable entries = null;
 145
 146   /**
 147    * true if we aren't just updating an archive
 148    */
 149   private boolean virginArchive=false;
 150
 151   /**
 152    * name of backup of existing archive that has been updated/overwritten.
 153    * only one backup will be made - and this is it.
 154    */
 155   File originalBackup = null;
 156
 157   boolean donotdeletebackup=false;
 158   private final int _TRANSFER_BUFFER=4096*4;
 159   protected SimpleDocument vorba = null;
 160   /**
 161    * LATER: ? CUT'n'Paste error ?
 162    * Access and return current vamsas Document, if it exists, or create a new one
 163    * (without affecting VamsasArchive object state - so is NOT THREAD SAFE)
 164    * _TODO: possibly modify internal state to lock low-level files
 165    * (like the IClientDocument interface instance constructer would do)
 166    * @see org.vamsas.simpleclient.VamsasArchive.getOriginalVamsasDocument for additional caveats
 167    *
 168    * @return
 169    * @throws IOException
 170    * @throws org.exolab.castor.xml.MarshalException
 171    * @throws org.exolab.castor.xml.ValidationException
 172    * ????? where does this live JBPNote ?
 173    */
 174   private VamsasDocument _doc=null;
 175
 176   /**
 177    * Create a new vamsas archive
 178    * File locks are made immediately to avoid contention
 179    *
 180    * @param archive - file spec for new vamsas archive
 181    * @param vamsasdocument true if archive is to be a fully fledged vamsas document archive
 182    * @throws IOException if call to accessOriginal failed for updates, or openArchive failed.
 183    */
 184   public VamsasArchive(File archive, boolean vamsasdocument) throws IOException {
 185     this(archive, false, vamsasdocument, null);
 186   }
 187   public VamsasArchive(File archive, boolean vamsasdocument, boolean overwrite) throws IOException {
 188     this(archive, overwrite, vamsasdocument, null);
 189   }
 190   /**
 191    * Constructor for accessing Files under file-lock management (ie a session file)
 192    * @param archive
 193    * @param vamsasdocument
 194    * @param overwrite
 195    * @throws IOException
 196    */
 197   public VamsasArchive(VamsasFile archive, boolean vamsasdocument, boolean overwrite) throws IOException {
 198     this(archive.sessionFile, overwrite, vamsasdocument, archive);
 199     // log.debug("using non-functional lock-IO stream jar access constructor");
 200   }
 201   /**
 202    * read and write to archive - will not overwrite original contents, and will always write an up to date vamsas document structure.
 203    * @param archive
 204    * @throws IOException
 205    */
 206   public VamsasArchive(VamsasFile archive) throws IOException {
 207     this(archive, true, false);
 208   }
 209   /**
 210    *
 211    * @param archive file to write
 212    * @param overwrite true if original contents should be deleted
 213    * @param vamsasdocument true if a proper VamsasDocument archive is to be written.
 214    * @param extantLock SessionFile object holding a lock for the <object>archive</object>
 215    * @throws IOException
 216    */
 217   public VamsasArchive(File archive, boolean overwrite, boolean vamsasdocument, SessionFile extantLock) throws IOException {
 218     super();
 219     if (archive==null || (archive!=null && !(archive.getParentFile().canWrite() && (!archive.exists() || archive.canWrite())))) {
 220       log.fatal("Expect Badness! -- Invalid parameters for VamsasArchive constructor:"+((archive!=null)
 221           ? "File cannot be overwritten." : "Null Object not valid constructor parameter"));
 222       return;
 223     }
 224
 225     this.vamsasdocument = vamsasdocument;
 226     if (archive.exists() && !overwrite) {
 227       this.original = archive;
 228       if (extantLock!=null) {
 229         this.odoclock = extantLock;
 230         if (odoclock.fileLock==null || !odoclock.fileLock.isLocked())
 231           odoclock.lockFile();
 232       } else {
 233         this.odoclock = new SessionFile(archive);
 234       }
 235       odoclock.lockFile(); // lock the file *immediatly*
 236       this.archive = null;       // archive will be a temp file when the open method is called
 237       virginArchive=false;
 238       try {
 239         this.accessOriginal();
 240       } catch (IOException e)  {
 241         throw new IOException("Lock failed for existing archive"+archive);
 242       }
 243     } else {
 244       this.original = null;
 245       this.archive = archive; // archive is written in place.
 246       if (extantLock!=null)
 247         rchive=extantLock;
 248       else
 249         rchive = new SessionFile(archive);
 250       rchive.lockFile();
 251       if (rchive.fileLock==null || rchive.fileLock.rafile==null || !rchive.fileLock.isLocked())
 252         throw new IOException("Lock failed for new archive"+archive);
 253       rchive.fileLock.rafile.setLength(0); // empty the archive.
 254       virginArchive = true;
 255     }
 256     this.openArchive(); // open archive
 257   }
 258   /**
 259    * open original archive file for exclusive (locked) reading.
 260    * @throws IOException
 261    */
 262   private void accessOriginal() throws IOException {
 263     if (original!=null && original.exists()) {
 264       if (odoclock==null)
 265         odoclock = new SessionFile(original);
 266       odoclock.lockFile();
 267       if (odoc == null)
 268         odoc = new VamsasArchiveReader(original);
 269         // this constructor is not implemented yet odoc = new VamsasArchiveReader(odoclock.fileLock);
 270     }
 271   }
 272
 273   /**
 274    * Add unique entry strings to internal JarEntries list.
 275    * @param entry
 276    * @return true if entry was unique and was added.
 277    */
 278   private boolean addEntry(String entry) {
 279     if (entries!=null)
 280       entries=new Hashtable();
 281     if (entries.containsKey(entry))
 282       return false;
 283     entries.put(entry, new Integer(entries.size()));
 284     return true;
 285   }
 286   /**
 287    * adds named entry to newarchive or returns false.
 288    * @param entry
 289    * @return true if entry was unique and could be added
 290    * @throws IOException if entry name was invalid or a new entry could not be made on newarchive
 291    */
 292   private boolean addValidEntry(String entry) throws IOException {
 293     JarEntry je = new JarEntry(entry);
 294     if (!addEntry(entry))
 295       return false;
 296     newarchive.flush();
 297     newarchive.putNextEntry(je);
 298     return true;
 299   }
 300   /**
 301    * called by app to get name of backup if it was made.
 302    * If this is called, the caller app *must* delete the backup themselves.
 303    * @return null or a valid file object
 304    */
 305   public File backupFile() {
 306
 307     if (!virginArchive) {
 308       makeBackup();
 309       donotdeletebackup=false; // external reference has been made.
 310       return ((original!=null) ? originalBackup : null);
 311     }
 312     return null;
 313   }
 314
 315   /**
 316    * Stops any current write to archive, and reverts to the backup if it exists.
 317    * All existing locks on the original will be released. All backup files are removed.
 318    */
 319   public boolean cancelArchive() {
 320     if (newarchive!=null) {
 321       try {
 322         newarchive.closeEntry();
 323         newarchive.putNextEntry(new JarEntry("deleted"));
 324         newarchive.closeEntry();
 325         newarchive.close();
 326
 327       } catch (Exception e) {
 328         log.debug("Whilst closing newarchive",e);
 329       };
 330       if (!virginArchive) {
 331         // then there is something to recover.
 332         try {
 333           recoverBackup();
 334         }
 335         catch (Exception e) {
 336           log.warn("Problems when trying to cancel Archive "+archive.getAbsolutePath(), e);
 337           return false;
 338         }
 339       }
 340
 341     } else {
 342       log.warn("Client Error: cancelArchive called before archive("+original.getAbsolutePath()+") has been opened!");
 343     }
 344     closeAndReset(); // tidy up and release locks.
 345     return true;
 346   }
 347
 348   /**
 349    * only do this if you want to destroy the current file output stream
 350    *
 351    */
 352   private void closeAndReset() {
 353     if (rchive!=null) {
 354       rchive.unlockFile();
 355       rchive=null;
 356     }
 357     if (original!=null) {
 358       if (odoc!=null) {
 359         odoc.close();
 360         odoc=null;
 361       }
 362       if (archive!=null)
 363         archive.delete();
 364       if (odoclock!=null) {
 365         odoclock.unlockFile();
 366         odoclock = null;
 367       }
 368     }
 369     removeBackup();
 370     newarchive=null;
 371     original=null;
 372     entries=null;
 373   }
 374   /**
 375    * Tidies up and closes archive, removing any backups that were created.
 376    * NOTE: It is up to the caller to delete the original archive backup obtained from backupFile()
 377    * TODO: ensure all extant AppDataReference jar entries are transferred to new Jar
 378    * TODO: provide convenient mechanism for generating new unique AppDataReferences and adding them to the document
 379    */
 380   public void closeArchive() throws IOException {
 381     if (newarchive!=null) {
 382       newarchive.flush();
 383       newarchive.closeEntry();
 384       if (!isDocumentWritten())
 385         log.warn("Premature closure of archive '"+archive.getAbsolutePath()+"': No document has been written.");
 386       newarchive.close(); // use newarchive.finish(); for a stream IO
 387       updateOriginal();
 388       closeAndReset();
 389     } else {
 390       log.warn("Attempt to close archive that has not been opened for writing.");
 391     }
 392   }
 393   /**
 394    * Opens and returns the applicationData output stream for the appdataReference string.
 395    * @param appdataReference
 396    * @return Output stream to write to
 397    * @throws IOException
 398    */
 399   public AppDataOutputStream getAppDataStream(String appdataReference) throws IOException {
 400     if (newarchive==null)
 401       throw new IOException("Attempt to write to closed VamsasArchive object.");
 402     if (addValidEntry(appdataReference)) {
 403       return new AppDataOutputStream(newarchive);
 404     }
 405     return null;
 406   }
 407
 408   /**
 409    *
 410    * @return JarEntry name for the vamsas XML stream in this archive
 411    */
 412   protected String getDocumentJarEntry() {
 413     if (vamsasdocument)
 414       return VamsasArchiveReader.VAMSASDOC;
 415     return VamsasArchiveReader.VAMSASXML;
 416   }
 417   /**
 418    * Safely initializes the VAMSAS XML document Jar Entry.
 419    * @return Writer to pass to the marshalling function.
 420    * @throws IOException if a document entry has already been written.
 421    */
 422   public PrintWriter getDocumentOutputStream() throws IOException {
 423     if (newarchive==null)
 424       openArchive();
 425     if (!isDocumentWritten()) {
 426       try {
 427         if (addValidEntry(getDocumentJarEntry()))
 428           return new PrintWriter(new java.io.OutputStreamWriter(newarchive, "UTF-8"));
 429       } catch (Exception e) {
 430         log.warn("Problems opening XML document JarEntry stream",e);
 431       }
 432     } else {
 433       throw new IOException("Vamsas Document output stream is already written.");
 434     }
 435     return null;
 436   }
 437
 438   /**
 439    * Access original archive if it exists, pass the reader to the client
 440    * Note: this is NOT thread safe and a call to closeArchive() will by necessity
 441    * close and invalidate the VamsasArchiveReader object.
 442    * @return null if no original archive exists.
 443    */
 444   public VamsasArchiveReader getOriginalArchiveReader() throws IOException {
 445     if (!virginArchive) {
 446       accessOriginal();
 447       return odoc;
 448     }
 449     return null;
 450   }
 451   /**
 452    * returns original document's root vamsas elements.
 453    * @return
 454    * @throws IOException
 455    * @throws org.exolab.castor.xml.MarshalException
 456    * @throws org.exolab.castor.xml.ValidationException
 457    */
 458   public Vobject[] getOriginalRoots() throws IOException,
 459   org.exolab.castor.xml.MarshalException, org.exolab.castor.xml.ValidationException  {
 460     return VamsasArchive.getOriginalRoots(this);
 461   }
 462   /**
 463    * @return original document or a new empty document (with default provenance)
 464    * @throws IOException
 465    * @throws org.exolab.castor.xml.MarshalException
 466    * @throws org.exolab.castor.xml.ValidationException
 467    */
 468   public VamsasDocument getVamsasDocument() throws IOException,
 469   org.exolab.castor.xml.MarshalException, org.exolab.castor.xml.ValidationException {
 470     return getVamsasDocument("org.vamsas.simpleclient.VamsasArchive", "Created new empty document", null);
 471   }
 472   /**
 473    * Return the original document or a new empty document with initial provenance entry.
 474    * @param provenance_user (null sets user to be the class name)
 475    * @param provenance_action (null sets action to be 'created new document')
 476    * @param version (null means use latest version)
 477    * @return (original document or a new vamsas document with supplied provenance and version info)
 478    * @throws IOException
 479    * @throws org.exolab.castor.xml.MarshalException
 480    * @throws org.exolab.castor.xml.ValidationException
 481    */
 482   public VamsasDocument getVamsasDocument(String provenance_user, String provenance_action, String version) throws IOException,
 483   org.exolab.castor.xml.MarshalException, org.exolab.castor.xml.ValidationException {
 484     if (_doc!=null)
 485       return _doc;
 486     _doc = getOriginalVamsasDocument(this, getVorba());
 487     if (_doc!=null)
 488       return _doc;
 489     // validate parameters
 490     if (provenance_user==null)
 491       provenance_user = "org.vamsas.simpleclient.VamsasArchive";
 492     if (provenance_action == null)
 493       provenance_action="Created new empty document";
 494     if (version==null)
 495       version = VersionEntries.latestVersion();
 496     // Create a new document and return it
 497     _doc = DocumentStuff.newVamsasDocument(new VAMSAS[] { new VAMSAS()},
 498         ProvenanceStuff.newProvenance(provenance_user, provenance_action), version);
 499     return _doc;
 500   }
 501   /**
 502    * @return Returns the current VorbaIdFactory for the archive.
 503    */
 504   public VorbaIdFactory getVorba() {
 505     if (vorba==null)
 506       vorba = new SimpleDocument("simpleclient.VamsasArchive");
 507     return vorba.getVorba();
 508   }
 509   /**
 510    * @return true if Vamsas Document has been written to archive
 511    */
 512   protected boolean isDocumentWritten() {
 513     if (newarchive==null)
 514       log.warn("isDocumentWritten() called for unopened archive.");
 515     if (entries!=null) {
 516       if (entries.containsKey(getDocumentJarEntry()))
 517         return true;
 518     }
 519     return false;
 520   }
 521   private void makeBackup() {
 522     if (!virginArchive) {
 523       if (originalBackup==null && original!=null && original.exists()) {
 524         try {
 525           accessOriginal();
 526           originalBackup = odoclock.backupSessionFile(null, original.getName(), ".bak", original.getParentFile());
 527         }
 528         catch (IOException e) {
 529           log.warn("Problem whilst making a backup of original archive.",e);
 530         }
 531       }
 532     }
 533   }
 534   /**
 535    * opens the new archive ready for writing. If the new archive is replacing an existing one,
 536    * then the existing archive will be locked, and the new archive written to a temporary file.
 537    * The new archive will be put in place once close() is called.
 538    * @param doclock LATER - pass existing lock on document, if it exists.... no need yet?
 539    * @throws IOException
 540    */
 541   private void openArchive() throws IOException {
 542
 543     if (newarchive!=null) {
 544       log.warn("openArchive() called multiple times.");
 545       throw new IOException("Vamsas Archive '"+archive.getAbsolutePath()+"' is already open.");
 546     }
 547     if (archive==null && (virginArchive || original==null)) {
 548       log.warn("openArchive called on uninitialised VamsasArchive object.");
 549       throw new IOException("Badly initialised VamsasArchive object - no archive file specified.");
 550     }
 551     if (!virginArchive) {
 552       // lock the original
 553       accessOriginal();
 554       // make a temporary file to write to
 555       archive = File.createTempFile(original.getName(), ".new",original.getParentFile());
 556     } else {
 557       if (archive.exists())
 558         log.warn("New archive file name already in use! Possible lock failure imminent?");
 559     }
 560
 561     if (rchive==null)
 562       rchive = new SessionFile(archive);
 563     if (!rchive.lockFile())
 564       throw new IOException("Failed to get lock on file "+archive);
 565     // LATER: locked IO stream based access.
 566     //Manifest newmanifest = new Manifest();
 567     //newarchive = new JarOutputStream(rchive.fileLock.getBufferedOutputStream(true), newmanifest);
 568     newarchive = new JarOutputStream(new BufferedOutputStream(new java.io.FileOutputStream(archive)));
 569     entries = new Hashtable();
 570   }
 571   public void putVamsasDocument(VamsasDocument doc) throws IOException,
 572   org.exolab.castor.xml.MarshalException, org.exolab.castor.xml.ValidationException {
 573     putVamsasDocument(doc, getVorba());
 574   }
 575
 576   public void putVamsasDocument(VamsasDocument doc, VorbaIdFactory vorba) throws IOException,
 577   org.exolab.castor.xml.MarshalException, org.exolab.castor.xml.ValidationException {
 578     if (vamsasdocument)
 579       doc.setVersion(VersionEntries.latestVersion()); // LATER: ensure this does the correct thing.
 580     VorbaXmlBinder.putVamsasDocument(getDocumentOutputStream(), vorba, doc);
 581   }
 582
 583   /**
 584    * recovers the original file's contents from the (temporary) backup.
 585    * @throws Exception if any SessionFile or file removal operations fail.
 586    */
 587   private void recoverBackup() throws Exception {
 588     if (originalBackup!=null) {
 589       // backup has been made.
 590       // revert from backup and delete it (changing backup filename)
 591       if (rchive==null) {
 592         rchive = new SessionFile(original);
 593       }
 594       SessionFile bckup = new SessionFile(originalBackup);
 595
 596       rchive.updateFrom(null, bckup); // recover from backup file.
 597       bckup.unlockFile();
 598       bckup=null;
 599       removeBackup();
 600     }
 601   }
 602
 603   /**
 604    * forget about any backup that was made - removing it first if it was only temporary.
 605    */
 606   private void removeBackup() {
 607     if (originalBackup!=null) {
 608       log.debug("Removing backup in "+originalBackup.getAbsolutePath());
 609       if (!donotdeletebackup)
 610         if (!originalBackup.delete())
 611           log.info("VamsasArchive couldn't remove temporary backup "+originalBackup.getAbsolutePath());
 612       originalBackup=null;
 613     }
 614   }
 615   /**
 616    * @param vorba the VorbaIdFactory to use for accessing vamsas objects.
 617    */
 618   public void setVorba(VorbaIdFactory Vorba) {
 619     if (Vorba!=null) {
 620       if (vorba==null)
 621         vorba = new SimpleDocument(Vorba);
 622       else
 623         vorba.setVorba(Vorba);
 624     } else
 625       getVorba();
 626   }
 627   /**
 628    * Convenience method to copy over the referred entry from the backup to the new version.
 629    * Warning messages are raised if no backup exists or the
 630    * entry doesn't exist in the backed-up original.
 631    * Duplicate writes return true - but a warning message will also be raised.
 632    * @param AppDataReference
 633    * @return true if AppDataReference now exists in the new document
 634    * @throws IOException
 635    */
 636   public boolean transferAppDataEntry(String AppDataReference) throws IOException {
 637     return transferAppDataEntry(AppDataReference, AppDataReference);
 638   }
 639   /**
 640    * Validates the AppDataReference: not null and not already written to archive.
 641    * @param AppDataReference
 642    * @return true if valid. false if not
 643    * @throws IOException for really broken references!
 644    */
 645   protected boolean _validNewAppDataReference(String newAppDataReference) throws IOException {
 646     // LATER: Specify valid AppDataReference form in all VamsasArchive handlers
 647     if (newAppDataReference==null)
 648       throw new IOException("null newAppDataReference!");
 649     if (entries.containsKey(newAppDataReference)) {
 650       log.warn("Attempt to write '"+newAppDataReference+"' twice! - IGNORED");
 651       // LATER: fix me? warning message should raise an exception here.
 652       return false;
 653     }
 654     return true;
 655   }
 656   /**
 657    * Transfers an AppDataReference from old to new vamsas archive, with a name change.
 658    * @see transferAppDataEntry(String AppDataReference)
 659    * @param AppDataReference
 660    * @param NewAppDataReference - AppDataReference in new Archive
 661    * @return
 662    * @throws IOException
 663    */
 664   public boolean transferAppDataEntry(String AppDataReference, String NewAppDataReference) throws IOException {
 665     if (original==null || !original.exists()) {
 666       log.warn("No backup archive exists.");
 667       return false;
 668     }
 669     if (AppDataReference==null)
 670       throw new IOException("null AppDataReference!");
 671
 672     if (!_validNewAppDataReference(NewAppDataReference))
 673       return false;
 674
 675     accessOriginal();
 676
 677     java.io.InputStream adstream = odoc.getAppdataStream(AppDataReference);
 678
 679     if (adstream==null) {
 680       log.warn("AppDataReference '"+AppDataReference+"' doesn't exist in backup archive.");
 681       return false;
 682     }
 683
 684     java.io.OutputStream adout = getAppDataStream(NewAppDataReference);
 685     // copy over the bytes
 686     int written=-1;
 687     long count=0;
 688     byte[] buffer = new byte[_TRANSFER_BUFFER]; // conservative estimate of a sensible buffer
 689     do {
 690       if ((written = adstream.read(buffer))>-1) {
 691         adout.write(buffer, 0, written);
 692         log.debug("Transferring "+written+".");
 693         count+=written;
 694       }
 695     } while (written>-1);
 696     log.debug("Sucessfully transferred AppData for '"
 697         +AppDataReference+"' as '"+NewAppDataReference+"' ("+count+" bytes)");
 698     return true;
 699   }
 700   /**
 701    * write data from a stream into an appData reference.
 702    * @param AppDataReference - New AppDataReference not already written to archive
 703    * @param adstream Source of data for appData reference - read until .read(buffer) returns -1
 704    * @return true on success.
 705    * @throws IOException for file IO or invalid AppDataReference string
 706    */
 707   public boolean writeAppdataFromStream(String AppDataReference, java.io.InputStream adstream) throws IOException {
 708     if (!_validNewAppDataReference(AppDataReference)) {
 709       log.warn("Invalid AppDataReference passed to writeAppdataFromStream");
 710       throw new IOException("Invalid AppDataReference! (null, or maybe non-unique)!");
 711     }
 712
 713     if (AppDataReference==null) {
 714       log.warn("null appdata passed.");
 715       throw new IOException("Null AppDataReference");
 716     }
 717
 718     java.io.OutputStream adout = getAppDataStream(AppDataReference);
 719     // copy over the bytes
 720     int written=-1;
 721     long count=0;
 722     byte[] buffer = new byte[_TRANSFER_BUFFER]; // conservative estimate of a sensible buffer
 723     do {
 724       if ((written = adstream.read(buffer))>-1) {
 725         adout.write(buffer, 0, written);
 726         log.debug("Transferring "+written+".");
 727         count+=written;
 728       }
 729     } while (written>-1);
 730     return true;
 731   }
 732   /**
 733    * transfers any AppDataReferences existing in the old document
 734    * that haven't already been transferred to the new one
 735    * LATER: do the same for transfers requiring a namechange - more document dependent.
 736    *  @return true if data was transferred.
 737    */
 738   public boolean transferRemainingAppDatas() throws IOException {
 739     boolean transfered=false;
 740     if (original==null || !original.exists()) {
 741       log.warn("No backup archive exists.");
 742       return false;
 743     }
 744     accessOriginal();
 745
 746     if (getVorba()!=null) {
 747       Vector originalRefs=null;
 748       try {
 749         originalRefs = vorba.getReferencedEntries(getVamsasDocument(), getOriginalArchiveReader());
 750       } catch (Exception e) {
 751         log.warn("Problems accessing original document entries!",e);
 752       }
 753       if (originalRefs!=null) {
 754         Iterator ref = originalRefs.iterator();
 755         while (ref.hasNext()) {
 756           String oldentry = (String) ref.next();
 757           if (oldentry!=null && !entries.containsKey(oldentry)) {
 758             log.debug("Transferring remaining entry '"+oldentry+"'");
 759             transfered |= transferAppDataEntry(oldentry);
 760           }
 761         }
 762       }
 763     }
 764     return transfered;
 765   }
 766   /**
 767    * called after archive is written to put file in its final place
 768    */
 769   private void updateOriginal() {
 770     if (!virginArchive) {
 771       // make sure original document really is backed up and then overwrite it.
 772       if (odoc!=null) {
 773         // try to shut the odoc reader.
 774         odoc.close();
 775         odoc = null;
 776       }
 777       // Make a backup if it isn't done already
 778       makeBackup();
 779       try {
 780         // copy new Archive data that was writen to a temporary file
 781         odoclock.updateFrom(null, rchive);
 782       }
 783       catch (IOException e) {
 784         // LATER: decide if leaving nastily named backup files around is necessary.
 785         log.error("Problem updating archive from temporary file! - backup left in '"
 786             +backupFile().getAbsolutePath()+"'",e);
 787       }
 788       // Tidy up if necessary.
 789       removeBackup();
 790     } else {
 791
 792     }
 793   }
 794 }