src/org/json/XML.java

   1 package org.json;
   2
   3 /*
   4 Copyright (c) 2015 JSON.org
   5
   6 Permission is hereby granted, free of charge, to any person obtaining a copy
   7 of this software and associated documentation files (the "Software"), to deal
   8 in the Software without restriction, including without limitation the rights
   9 to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10 copies of the Software, and to permit persons to whom the Software is
  11 furnished to do so, subject to the following conditions:
  12
  13 The above copyright notice and this permission notice shall be included in all
  14 copies or substantial portions of the Software.
  15
  16 The Software shall be used for Good, not Evil.
  17
  18 THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  19 IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  20 FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  21 AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  22 LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  23 OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  24 SOFTWARE.
  25 */
  26
  27 import java.io.Reader;
  28 import java.io.StringReader;
  29 import java.util.Iterator;
  30
  31 /**
  32  * This provides static methods to convert an XML text into a JSONObject, and to
  33  * covert a JSONObject into an XML text.
  34  *
  35  * @author JSON.org
  36  * @version 2016-08-10
  37  */
  38 @SuppressWarnings("boxing")
  39 public class XML {
  40     /** The Character '&amp;'. */
  41     public static final Character AMP = '&';
  42
  43     /** The Character '''. */
  44     public static final Character APOS = '\'';
  45
  46     /** The Character '!'. */
  47     public static final Character BANG = '!';
  48
  49     /** The Character '='. */
  50     public static final Character EQ = '=';
  51
  52     /** The Character '>'. */
  53     public static final Character GT = '>';
  54
  55     /** The Character '&lt;'. */
  56     public static final Character LT = '<';
  57
  58     /** The Character '?'. */
  59     public static final Character QUEST = '?';
  60
  61     /** The Character '"'. */
  62     public static final Character QUOT = '"';
  63
  64     /** The Character '/'. */
  65     public static final Character SLASH = '/';
  66
  67     /**
  68      * Creates an iterator for navigating Code Points in a string instead of
  69      * characters. Once Java7 support is dropped, this can be replaced with
  70      * <code>
  71      * string.codePoints()
  72      * </code>
  73      * which is available in Java8 and above.
  74      *
  75      * @see <a href=
  76      *      "http://stackoverflow.com/a/21791059/6030888">http://stackoverflow.com/a/21791059/6030888</a>
  77      */
  78     private static Iterable<Integer> codePointIterator(final String string) {
  79         return new Iterable<Integer>() {
  80             @Override
  81             public Iterator<Integer> iterator() {
  82                 return new Iterator<Integer>() {
  83                     private int nextIndex = 0;
  84                     private int length = string.length();
  85
  86                     @Override
  87                     public boolean hasNext() {
  88                         return this.nextIndex < this.length;
  89                     }
  90
  91                     @Override
  92                     public Integer next() {
  93                         int result = string.codePointAt(this.nextIndex);
  94                         this.nextIndex += Character.charCount(result);
  95                         return result;
  96                     }
  97
  98                     @Override
  99                     public void remove() {
 100                         throw new UnsupportedOperationException();
 101                     }
 102                 };
 103             }
 104         };
 105     }
 106
 107     /**
 108      * Replace special characters with XML escapes:
 109      *
 110      * <pre>
 111      * &amp; <small>(ampersand)</small> is replaced by &amp;amp;
 112      * &lt; <small>(less than)</small> is replaced by &amp;lt;
 113      * &gt; <small>(greater than)</small> is replaced by &amp;gt;
 114      * &quot; <small>(double quote)</small> is replaced by &amp;quot;
 115      * &apos; <small>(single quote / apostrophe)</small> is replaced by &amp;apos;
 116      * </pre>
 117      *
 118      * @param string
 119      *            The string to be escaped.
 120      * @return The escaped string.
 121      */
 122     public static String escape(String string) {
 123         StringBuilder sb = new StringBuilder(string.length());
 124         for (final int cp : codePointIterator(string)) {
 125             switch (cp) {
 126             case '&':
 127                 sb.append("&amp;");
 128                 break;
 129             case '<':
 130                 sb.append("&lt;");
 131                 break;
 132             case '>':
 133                 sb.append("&gt;");
 134                 break;
 135             case '"':
 136                 sb.append("&quot;");
 137                 break;
 138             case '\'':
 139                 sb.append("&apos;");
 140                 break;
 141             default:
 142                 if (mustEscape(cp)) {
 143                     sb.append("&#x");
 144                     sb.append(Integer.toHexString(cp));
 145                     sb.append(';');
 146                 } else {
 147                     sb.appendCodePoint(cp);
 148                 }
 149             }
 150         }
 151         return sb.toString();
 152     }
 153
 154     /**
 155      * @param cp code point to test
 156      * @return true if the code point is not valid for an XML
 157      */
 158     private static boolean mustEscape(int cp) {
 159         /* Valid range from https://www.w3.org/TR/REC-xml/#charsets
 160          *
 161          * #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
 162          *
 163          * any Unicode character, excluding the surrogate blocks, FFFE, and FFFF.
 164          */
 165         // isISOControl is true when (cp >= 0 && cp <= 0x1F) || (cp >= 0x7F && cp <= 0x9F)
 166         // all ISO control characters are out of range except tabs and new lines
 167         return (Character.isISOControl(cp)
 168                 && cp != 0x9
 169                 && cp != 0xA
 170                 && cp != 0xD
 171             ) || !(
 172                 // valid the range of acceptable characters that aren't control
 173                 (cp >= 0x20 && cp <= 0xD7FF)
 174                 || (cp >= 0xE000 && cp <= 0xFFFD)
 175                 || (cp >= 0x10000 && cp <= 0x10FFFF)
 176             )
 177         ;
 178     }
 179
 180     /**
 181      * Removes XML escapes from the string.
 182      *
 183      * @param string
 184      *            string to remove escapes from
 185      * @return string with converted entities
 186      */
 187     public static String unescape(String string) {
 188         StringBuilder sb = new StringBuilder(string.length());
 189         for (int i = 0, length = string.length(); i < length; i++) {
 190             char c = string.charAt(i);
 191             if (c == '&') {
 192                 final int semic = string.indexOf(';', i);
 193                 if (semic > i) {
 194                     final String entity = string.substring(i + 1, semic);
 195                     sb.append(XMLTokener.unescapeEntity(entity));
 196                     // skip past the entity we just parsed.
 197                     i += entity.length() + 1;
 198                 } else {
 199                     // this shouldn't happen in most cases since the parser
 200                     // errors on unclosed entries.
 201                     sb.append(c);
 202                 }
 203             } else {
 204                 // not part of an entity
 205                 sb.append(c);
 206             }
 207         }
 208         return sb.toString();
 209     }
 210
 211     /**
 212      * Throw an exception if the string contains whitespace. Whitespace is not
 213      * allowed in tagNames and attributes.
 214      *
 215      * @param string
 216      *            A string.
 217      * @throws JSONException Thrown if the string contains whitespace or is empty.
 218      */
 219     public static void noSpace(String string) throws JSONException {
 220         int i, length = string.length();
 221         if (length == 0) {
 222             throw new JSONException("Empty string.");
 223         }
 224         for (i = 0; i < length; i += 1) {
 225             if (Character.isWhitespace(string.charAt(i))) {
 226                 throw new JSONException("'" + string
 227                         + "' contains a space character.");
 228             }
 229         }
 230     }
 231
 232     /**
 233      * Scan the content following the named tag, attaching it to the context.
 234      *
 235      * @param x
 236      *            The XMLTokener containing the source string.
 237      * @param context
 238      *            The JSONObject that will include the new material.
 239      * @param name
 240      *            The tag name.
 241      * @return true if the close tag is processed.
 242      * @throws JSONException
 243      */
 244     private static boolean parse(XMLTokener x, JSONObject context, String name, boolean keepStrings)
 245             throws JSONException {
 246         char c;
 247         int i;
 248         JSONObject jsonobject = null;
 249         String string;
 250         String tagName;
 251         Object token;
 252
 253         // Test for and skip past these forms:
 254         // <!-- ... -->
 255         // <! ... >
 256         // <![ ... ]]>
 257         // <? ... ?>
 258         // Report errors for these forms:
 259         // <>
 260         // <=
 261         // <<
 262
 263         token = x.nextToken();
 264
 265         // <!
 266
 267         if (token == BANG) {
 268             c = x.next();
 269             if (c == '-') {
 270                 if (x.next() == '-') {
 271                     x.skipPast("-->");
 272                     return false;
 273                 }
 274                 x.back();
 275             } else if (c == '[') {
 276                 token = x.nextToken();
 277                 if ("CDATA".equals(token)) {
 278                     if (x.next() == '[') {
 279                         string = x.nextCDATA();
 280                         if (string.length() > 0) {
 281                             context.accumulate("content", string);
 282                         }
 283                         return false;
 284                     }
 285                 }
 286                 throw x.syntaxError("Expected 'CDATA['");
 287             }
 288             i = 1;
 289             do {
 290                 token = x.nextMeta();
 291                 if (token == null) {
 292                     throw x.syntaxError("Missing '>' after '<!'.");
 293                 } else if (token == LT) {
 294                     i += 1;
 295                 } else if (token == GT) {
 296                     i -= 1;
 297                 }
 298             } while (i > 0);
 299             return false;
 300         } else if (token == QUEST) {
 301
 302             // <?
 303             x.skipPast("?>");
 304             return false;
 305         } else if (token == SLASH) {
 306
 307             // Close tag </
 308
 309             token = x.nextToken();
 310             if (name == null) {
 311                 throw x.syntaxError("Mismatched close tag " + token);
 312             }
 313             if (!token.equals(name)) {
 314                 throw x.syntaxError("Mismatched " + name + " and " + token);
 315             }
 316             if (x.nextToken() != GT) {
 317                 throw x.syntaxError("Misshaped close tag");
 318             }
 319             return true;
 320
 321         } else if (token instanceof Character) {
 322             throw x.syntaxError("Misshaped tag");
 323
 324             // Open tag <
 325
 326         } else {
 327             tagName = (String) token;
 328             token = null;
 329             jsonobject = new JSONObject();
 330             for (;;) {
 331                 if (token == null) {
 332                     token = x.nextToken();
 333                 }
 334                 // attribute = value
 335                 if (token instanceof String) {
 336                     string = (String) token;
 337                     token = x.nextToken();
 338                     if (token == EQ) {
 339                         token = x.nextToken();
 340                         if (!(token instanceof String)) {
 341                             throw x.syntaxError("Missing value");
 342                         }
 343                         jsonobject.accumulate(string,
 344                                 keepStrings ? ((String)token) : stringToValue((String) token));
 345                         token = null;
 346                     } else {
 347                         jsonobject.accumulate(string, "");
 348                     }
 349
 350
 351                 } else if (token == SLASH) {
 352                     // Empty tag <.../>
 353                     if (x.nextToken() != GT) {
 354                         throw x.syntaxError("Misshaped tag");
 355                     }
 356                     if (jsonobject.length() > 0) {
 357                         context.accumulate(tagName, jsonobject);
 358                     } else {
 359                         context.accumulate(tagName, "");
 360                     }
 361                     return false;
 362
 363                 } else if (token == GT) {
 364                     // Content, between <...> and </...>
 365                     for (;;) {
 366                         token = x.nextContent();
 367                         if (token == null) {
 368                             if (tagName != null) {
 369                                 throw x.syntaxError("Unclosed tag " + tagName);
 370                             }
 371                             return false;
 372                         } else if (token instanceof String) {
 373                             string = (String) token;
 374                             if (string.length() > 0) {
 375                                 jsonobject.accumulate("content",
 376                                         keepStrings ? string : stringToValue(string));
 377                             }
 378
 379                         } else if (token == LT) {
 380                             // Nested element
 381                             if (parse(x, jsonobject, tagName,keepStrings)) {
 382                                 if (jsonobject.length() == 0) {
 383                                     context.accumulate(tagName, "");
 384                                 } else if (jsonobject.length() == 1
 385                                         && jsonobject.opt("content") != null) {
 386                                     context.accumulate(tagName,
 387                                             jsonobject.opt("content"));
 388                                 } else {
 389                                     context.accumulate(tagName, jsonobject);
 390                                 }
 391                                 return false;
 392                             }
 393                         }
 394                     }
 395                 } else {
 396                     throw x.syntaxError("Misshaped tag");
 397                 }
 398             }
 399         }
 400     }
 401
 402     /**
 403      * This method is the same as {@link JSONObject#stringToValue(String)}.
 404      *
 405      * @param string String to convert
 406      * @return JSON value of this string or the string
 407      */
 408     // To maintain compatibility with the Android API, this method is a direct copy of
 409     // the one in JSONObject. Changes made here should be reflected there.
 410     public static Object stringToValue(String string) {
 411         if (string.equals("")) {
 412             return string;
 413         }
 414         if (string.equalsIgnoreCase("true")) {
 415             return Boolean.TRUE;
 416         }
 417         if (string.equalsIgnoreCase("false")) {
 418             return Boolean.FALSE;
 419         }
 420         if (string.equalsIgnoreCase("null")) {
 421             return JSONObject.NULL;
 422         }
 423
 424         /*
 425          * If it might be a number, try converting it. If a number cannot be
 426          * produced, then the value will just be a string.
 427          */
 428
 429         char initial = string.charAt(0);
 430         if ((initial >= '0' && initial <= '9') || initial == '-') {
 431             try {
 432                 // if we want full Big Number support this block can be replaced with:
 433                 // return stringToNumber(string);
 434                 if (string.indexOf('.') > -1 || string.indexOf('e') > -1
 435                         || string.indexOf('E') > -1 || "-0".equals(string)) {
 436                     Double d = Double.valueOf(string);
 437                     if (!d.isInfinite() && !d.isNaN()) {
 438                         return d;
 439                     }
 440                 } else {
 441                     Long myLong = Long.valueOf(string);
 442                     if (string.equals(myLong.toString())) {
 443                         if (myLong.longValue() == myLong.intValue()) {
 444                             return Integer.valueOf(myLong.intValue());
 445                         }
 446                         return myLong;
 447                     }
 448                 }
 449             } catch (Exception ignore) {
 450             }
 451         }
 452         return string;
 453     }
 454
 455     /**
 456      * Convert a well-formed (but not necessarily valid) XML string into a
 457      * JSONObject. Some information may be lost in this transformation because
 458      * JSON is a data format and XML is a document format. XML uses elements,
 459      * attributes, and content text, while JSON uses unordered collections of
 460      * name/value pairs and arrays of values. JSON does not does not like to
 461      * distinguish between elements and attributes. Sequences of similar
 462      * elements are represented as JSONArrays. Content text may be placed in a
 463      * "content" member. Comments, prologs, DTDs, and <code>&lt;[ [ ]]></code>
 464      * are ignored.
 465      *
 466      * @param string
 467      *            The source string.
 468      * @return A JSONObject containing the structured data from the XML string.
 469      * @throws JSONException Thrown if there is an errors while parsing the string
 470      */
 471     public static JSONObject toJSONObject(String string) throws JSONException {
 472         return toJSONObject(string, false);
 473     }
 474
 475     /**
 476      * Convert a well-formed (but not necessarily valid) XML into a
 477      * JSONObject. Some information may be lost in this transformation because
 478      * JSON is a data format and XML is a document format. XML uses elements,
 479      * attributes, and content text, while JSON uses unordered collections of
 480      * name/value pairs and arrays of values. JSON does not does not like to
 481      * distinguish between elements and attributes. Sequences of similar
 482      * elements are represented as JSONArrays. Content text may be placed in a
 483      * "content" member. Comments, prologs, DTDs, and <code>&lt;[ [ ]]></code>
 484      * are ignored.
 485      *
 486      * @param reader The XML source reader.
 487      * @return A JSONObject containing the structured data from the XML string.
 488      * @throws JSONException Thrown if there is an errors while parsing the string
 489      */
 490     public static JSONObject toJSONObject(Reader reader) throws JSONException {
 491         return toJSONObject(reader, false);
 492     }
 493
 494     /**
 495      * Convert a well-formed (but not necessarily valid) XML into a
 496      * JSONObject. Some information may be lost in this transformation because
 497      * JSON is a data format and XML is a document format. XML uses elements,
 498      * attributes, and content text, while JSON uses unordered collections of
 499      * name/value pairs and arrays of values. JSON does not does not like to
 500      * distinguish between elements and attributes. Sequences of similar
 501      * elements are represented as JSONArrays. Content text may be placed in a
 502      * "content" member. Comments, prologs, DTDs, and <code>&lt;[ [ ]]></code>
 503      * are ignored.
 504      *
 505      * All values are converted as strings, for 1, 01, 29.0 will not be coerced to
 506      * numbers but will instead be the exact value as seen in the XML document.
 507      *
 508      * @param reader The XML source reader.
 509      * @param keepStrings If true, then values will not be coerced into boolean
 510      *  or numeric values and will instead be left as strings
 511      * @return A JSONObject containing the structured data from the XML string.
 512      * @throws JSONException Thrown if there is an errors while parsing the string
 513      */
 514     public static JSONObject toJSONObject(Reader reader, boolean keepStrings) throws JSONException {
 515         JSONObject jo = new JSONObject();
 516         XMLTokener x = new XMLTokener(reader);
 517         while (x.more()) {
 518             x.skipPast("<");
 519             if(x.more()) {
 520                 parse(x, jo, null, keepStrings);
 521             }
 522         }
 523         return jo;
 524     }
 525
 526     /**
 527      * Convert a well-formed (but not necessarily valid) XML string into a
 528      * JSONObject. Some information may be lost in this transformation because
 529      * JSON is a data format and XML is a document format. XML uses elements,
 530      * attributes, and content text, while JSON uses unordered collections of
 531      * name/value pairs and arrays of values. JSON does not does not like to
 532      * distinguish between elements and attributes. Sequences of similar
 533      * elements are represented as JSONArrays. Content text may be placed in a
 534      * "content" member. Comments, prologs, DTDs, and <code>&lt;[ [ ]]></code>
 535      * are ignored.
 536      *
 537      * All values are converted as strings, for 1, 01, 29.0 will not be coerced to
 538      * numbers but will instead be the exact value as seen in the XML document.
 539      *
 540      * @param string
 541      *            The source string.
 542      * @param keepStrings If true, then values will not be coerced into boolean
 543      *  or numeric values and will instead be left as strings
 544      * @return A JSONObject containing the structured data from the XML string.
 545      * @throws JSONException Thrown if there is an errors while parsing the string
 546      */
 547     public static JSONObject toJSONObject(String string, boolean keepStrings) throws JSONException {
 548         return toJSONObject(new StringReader(string), keepStrings);
 549     }
 550
 551     /**
 552      * Convert a JSONObject into a well-formed, element-normal XML string.
 553      *
 554      * @param object
 555      *            A JSONObject.
 556      * @return A string.
 557      * @throws JSONException Thrown if there is an error parsing the string
 558      */
 559     public static String toString(Object object) throws JSONException {
 560         return toString(object, null);
 561     }
 562
 563     /**
 564      * Convert a JSONObject into a well-formed, element-normal XML string.
 565      *
 566      * @param object
 567      *            A JSONObject.
 568      * @param tagName
 569      *            The optional name of the enclosing tag.
 570      * @return A string.
 571      * @throws JSONException Thrown if there is an error parsing the string
 572      */
 573     public static String toString(final Object object, final String tagName)
 574             throws JSONException {
 575         StringBuilder sb = new StringBuilder();
 576         JSONArray ja;
 577         JSONObject jo;
 578         String string;
 579
 580         if (object instanceof JSONObject) {
 581
 582             // Emit <tagName>
 583             if (tagName != null) {
 584                 sb.append('<');
 585                 sb.append(tagName);
 586                 sb.append('>');
 587             }
 588
 589             // Loop thru the keys.
 590             // don't use the new entrySet accessor to maintain Android Support
 591             jo = (JSONObject) object;
 592             for (final String key : jo.keySet()) {
 593                 Object value = jo.opt(key);
 594                 if (value == null) {
 595                     value = "";
 596                 } else if (value.getClass().isArray()) {
 597                     value = new JSONArray(value);
 598                 }
 599
 600                 // Emit content in body
 601                 if ("content".equals(key)) {
 602                     if (value instanceof JSONArray) {
 603                         ja = (JSONArray) value;
 604                         int jaLength = ja.length();
 605                         // don't use the new iterator API to maintain support for Android
 606                                                 for (int i = 0; i < jaLength; i++) {
 607                             if (i > 0) {
 608                                 sb.append('\n');
 609                             }
 610                             Object val = ja.opt(i);
 611                             sb.append(escape(val.toString()));
 612                         }
 613                     } else {
 614                         sb.append(escape(value.toString()));
 615                     }
 616
 617                     // Emit an array of similar keys
 618
 619                 } else if (value instanceof JSONArray) {
 620                     ja = (JSONArray) value;
 621                     int jaLength = ja.length();
 622                     // don't use the new iterator API to maintain support for Android
 623                                         for (int i = 0; i < jaLength; i++) {
 624                         Object val = ja.opt(i);
 625                         if (val instanceof JSONArray) {
 626                             sb.append('<');
 627                             sb.append(key);
 628                             sb.append('>');
 629                             sb.append(toString(val));
 630                             sb.append("</");
 631                             sb.append(key);
 632                             sb.append('>');
 633                         } else {
 634                             sb.append(toString(val, key));
 635                         }
 636                     }
 637                 } else if ("".equals(value)) {
 638                     sb.append('<');
 639                     sb.append(key);
 640                     sb.append("/>");
 641
 642                     // Emit a new tag <k>
 643
 644                 } else {
 645                     sb.append(toString(value, key));
 646                 }
 647             }
 648             if (tagName != null) {
 649
 650                 // Emit the </tagname> close tag
 651                 sb.append("</");
 652                 sb.append(tagName);
 653                 sb.append('>');
 654             }
 655             return sb.toString();
 656
 657         }
 658
 659         if (object != null && (object instanceof JSONArray ||  object.getClass().isArray())) {
 660             if(object.getClass().isArray()) {
 661                 ja = new JSONArray(object);
 662             } else {
 663                 ja = (JSONArray) object;
 664             }
 665             int jaLength = ja.length();
 666             // don't use the new iterator API to maintain support for Android
 667                         for (int i = 0; i < jaLength; i++) {
 668                 Object val = ja.opt(i);
 669                 // XML does not have good support for arrays. If an array
 670                 // appears in a place where XML is lacking, synthesize an
 671                 // <array> element.
 672                 sb.append(toString(val, tagName == null ? "array" : tagName));
 673             }
 674             return sb.toString();
 675         }
 676
 677         string = (object == null) ? "null" : escape(object.toString());
 678         return (tagName == null) ? "\"" + string + "\""
 679                 : (string.length() == 0) ? "<" + tagName + "/>" : "<" + tagName
 680                         + ">" + string + "</" + tagName + ">";
 681
 682     }
 683 }