xml解析技术研究(一) -凯发k8网页登录

xml(extensible markup language，可扩展标记语言)是由world wide web联盟(w3c)定义的元语言，即一种关于语言的语言。xml的设计源于sgml (standard generalized markup language，标淮通用标记语言)，是sgml的子集，其目的是为了促进internet上结构化文档的交换。简单的说，xml是一组规则和准则的集合，用于以无格式文本来描述结构化数据^[1]。1996年w3c联盟就开始从事xml的标准化工作，并于1998年2月10日发布了xml1.0。

xml的出现给分布式计算领域带来了重大影响，其力量源于它的数据独立性^[1]。xml是纯数据描述，与编程语言、操作系统或传输协议无关，从而将数据从以代码为中心的基础结构所产生的约束中解放出来，让数据能够在web上更自由的流通。

然而xml本身只是以纯文本对数据进行编码的一种格式，要想利用xml，或者说利用xml文件中所编码的数据，必须先将数据从纯文本中解析出来，因此，必须有一个能够识别xml文档中信息的解析器，用来解释xml文档并提取其中的数据。然而，根据数据提取的不同需求，又存在着多种解析方式，不同的解析方式有着各自的优缺点和适用环境。选择合适的xml解析技术能够有效提升应用系统的整体性能，因此，了解和区分各种不同的xml解析技术就显得尤为重要。

所有的xml处理都从解析开始，无论是使用xslt或java语言，第一步都是要读入xml文件，解码结构和检索信息等等，这就是解析，即把代表xml文档的一个无结构的字符序列转换为满足xml语法的结构化组件的过程。

2.1 xml解析技术的分类

根据从xml中获取数据的简易性，性能和最终所得到的数据模型的不同，xml解析技术大致可分为以下四类：

1)       面向文档的流式解析；

2)       面向文档的对象式解析；

3)       面向文档的指针式解析；

4)       面向应用的对象式解析；

这四类解析技术分别处于不同的抽象层次，适用于不同的应用场景，有着各自的优缺点。针对具体的应用需求，选择合适的解析技术，往往能够减少内存消耗，缩短处理时间，更方便地获取数据，提高应用系统的整体性能。

2.2 面向文档的流式解析技术

流式解析是一种基于事件的解析过程，解析器顺序读取xml文档，产生一个对应的事件流，并向事件处理程序发送所捕获的各种事件，如元素开始和元素结束等，而事件处理程序则通过不同的方法处理这些事件。

流式解析是将xml文档作为一个数据流来处理，因此，它具有类似于流媒体的优点，能够立即开始读取数据，而不是等待所有的数据被处理。而且，由于应用程序只是在读取数据时检查数据，不需要将整个文档一次加载到内存中，使得在处理大型文档时具有较好的时间和空间上的效率。然而效率的代价是易用性的降低，流式解析编程较为复杂，程序员需要负责更多的操作。并且由于应用程序没有以任何方式存储数据，所以使得更改数据或在数据流中往后移是不可能的。再加上它的单遍解析特性，意味着它也不支持随机访问。

流式解析又分为两种解析方式：推式解析(sax)和拉式解析(stax)。这两种方式的主要区别在于是由解析器还是应用程序控制读循环(读入文件的循环)。

2.2.1推式解析(sax解析技术)

sax(simple api for xml)解析技术就是一种推式解析，在这种解析方式中，解析器控制着读循环，在文档结束之前控制权不会返回给应用程序^[3]。解析器通过回调的方式进行数据处理。

sax提供了一个用于处理xml的，基于事件驱动的简单api。它的设计开始于xml-dev邮件列表成员间的讨论，他们开发出的第一个接口草案sax1.0于1998年1月发布，其后在2000年5月发布了sax2.0，目前最新版本是2004年4月发布的sax2.0.2。sax没有经过官方的标准机构认可，它不由w3c联盟或其它任何官方机构维护(现在，sax由david megginson维护) ^[4]，但它被广泛使用并视为xml社区事实上的标准。sax最初是为java而定义的，但也可以用于python、perl、c 等其它语言。

sax是基于事件驱动的，即sax解析器在读取xml文档的过程中生成一个事件流，并且对于每个事件通过回调事件处理程序中相应的方法来进行处理。比如元素开始和结束标记，元素内容，实体，语法分析错误等事件。针对下面的简单xml文档，所产生的事件如图1所示，注意针对元素内的空格或回车也会生成一个文本事件。

图1 sax解析器生成的事件

sax中的核心事件处理程序是一个实现了contenthandler接口的类。此接口中定义了处理与xml文档本身关联的事件的方法，如 startdocument、enddocument、startelement、endelement、characters等

sax解析技术具有所有流式解析技术的优点和缺点，但是由于在整个解析过程中，解析器掌握着控制权直到文档结束，应用程序很难在获得所需的部分数据后停止解析过程(可以通过抛出异常的方式终止解析过程，但较为复杂，而且终止后也无法继续解析过程)，因此产生了由应用程序掌握控制权的拉式解析方式。

2.2.2拉式解析(stax解析技术)

stax(streaming api for xml)解析技术是一种拉式解析，在这种解析方式中，应用程序控制着读循环。循环中，应用程序负责反复调用解析器获得下一个事件，直到文档结束。通过保留解析过程的控制权，可以简化调用代码来准确地处理它预期的内容，并且可随时停止解析。此外，由于该方式没有基于处理程序回调，应用程序也不需要像sax中那样模拟解析器的状态。

stax针对同样的xml文档所获得事件类型和sax基本相同，但是stax包含了两套处理xml的api：基于指针的api和基于迭代器的api，分别提供了不同程度的抽象^[5]。

基于指针的api简单的返回事件，此时事件用数值形式来表示。这是一种低层api，没有提供底层xml结构的抽象，所有的状态信息直接从流读取器获得，不需要创建额外的对象。从而节约内存，拥有较高的效率。

而较为高级的基于迭代器的api则以对象方式返回事件，每个事件对象都封装了它所表示的特定xml结构固有的信息，因此可直接利用其方法获得属于该结构的信息，但也需要额外的对象创建开销。相对于基于指针的api，基于迭代器的api具有更多的面向对象特征，因此更便于应用于模块化的体系结构。

stax也是用java定义的，其stax1.0于2004年3月发布，并且成为了jsr-173 规范，最新版本为2006年6月发布的stax1.2。stax作为用java语言处理xml的最新标准，比早期出现的xpp (xml pull parser)拉式解析器功能更为强大，也得到了更为广泛的应用。

2.3 面向文档的对象式解析技术

由于流式解析方式固有的无法更改数据和不支持随机访问特性，尤其是没有对xml文档的结构建模，使得应用程序很难对xml文档进行搜索、修改、添加和删除等操作。为了解决这些问题，产生了面向文档的对象式解析技术--dom。

dom(document object model)是用与平台和语言无关的方式对xml文档进行建模的官方w3c标准^[6]，其目标是提供一个可以通用于各种程序语言、操作系统和应用程序的接口。dom最初被当作web浏览器识别和处理页面元素的方式,即在w3c介入之前的功能，称为“dom level 0”。w3c于1998年10月提出了“dom level 1”建议，支持xml1.0和html处理。随后于2000年11月提出了“dom level 2”建议，对level 1进行了扩展，支持xml1.0、命名空间和css，也支持用户接口和树形操作事件，并且添加了dom树形操作功能。最新的“dom level 3”建议于2003年6月提出，在level 2的基础上添加了对dtd、xml模式和xpath的支持^[1]。

dom作为一种对象式解析技术，定义了层次化对象模型来表示xml文档。即为xml语法中的每个概念(如元素，属性，实体，文档等)定义对应的类，而解析器在读入xml文档的时候，会建立xml语法和类之间的一一映射。实际上，dom的层次化对象模型是一个树形结构，它将一个xml文档看作一棵节点树，每个节点代表一个xml文档中的元素。dom的基本节点对象有5个^[1]：(1)document对象：是树的最高节点，也是对整个文档操作的入口；(2)element和attr对象：对文档中元素和元素属性的映射；(3)text对象：作为element和attr对象的子节点，代表了元素或属性的文本内容；(4)nodelist对象：对节点按指定的方式进行遍历。

例如对于2.2.1中的xml文档，其对应的dom节点树如下图所示(注意元素内的空格或回车也会被当作文本对象)：

图2 dom节点树 (矩形框表示元素节点，椭圆表示文本节点)

利用dom在内存中建立的完整的xml文档的树形结构，开发人员就可以方便的对xml文档进行一系列操作，如遍历、增加、删除、修改文档内容等，且具有良好的导航能力。同时dom所具有的对象特性也非常便于面向对象编程。然而，由于dom在使用数据前需要完整的遍历xml文档，在内存中构建树形结构表示，因此需要消耗大量的内存，尤其是对于大型文档，性能下降的很快。而且必须一次解析整个xml文档，不可能只做部分解析，当只关注xml文档的小部分数据时，效率很低。(axis2项目中的axiom对象模型实现了对xml文档的部分解析，可构建不完整的节点树，但实现较为复杂)

由于dom是与语言无关的，当dom接口进入指定语言的数据结构时，会产生不必要的复杂性，无法利用语言本身的优势。因此出现了许多与dom类似的针对特定语言的对象模型。如jdom就是针对java的特定文档对象模型，jdom使用具体类而不使用接口，简化了api，并在api中大量使用了java集合类。dom4j则是jdom的一种智能分支，它提供了对xpath和xml schema的支持，并且通过dom4j api和标准dom接口使其具有并行访问功能^[5]。它们都属于面向文档的对象式解析技术。

2.4 面向文档的指针式解析技术

前面提到的面向文档的流式解析效率较高，但易用性差，而对象式解析易用性强，却效率较低，这两种方式似乎处于两个极端。其效率问题主要在于两种方式都是提取解析模式，即解析时，提取一部分源文件，一般来说是一个字符串，然后在内存中进行解析构建。这种解析模式注定了需要大量的创建和销毁对象，而且还存在更新效率问题，在dom中(sax并不支持更新)，每一次改动都需要将dom模型重新完整的解析成xml字符串，原文件并没有被利用，即dom并不支持增量更新。为了解决这些问题，提出了一种较新颖的指针式解析技术，即vtd-xml。

vtd-xml是一种无提取的xml解析方法，它较好的解决了dom占用内存过大的缺点，并且还提供了快速的解析与遍历、对xpath的支持和增量更新等特性。vtd-xml是一个开源项目，目前有java、c两种平台支持，第一个版本是2004年6月发布的vtd-xml0.5，其vtd- xml1.0版本于2005年10月发布，最新的版本为2007年10月发布的vtd-xml2.2。

vtd(virtual token descriptor，虚拟令牌描述符)是一个64bits长度的数值类型，记录了每个元素的起始位置，长度，深度以及令牌的类型等信息，如图3所示。64bits固定长度使得可以用数组这种高效的结构来组织vtd，大幅提高性能。vtd是实现无提取解析的关键，它类似于xml文档中元素的指针，通过它可以快速定位到某个元素。

图3 vtd记录的比特层格式

令牌开始偏移量(即相对于xml文档头部的距离)是30 bits，也就是说它能解析的最大文件是1g。令牌长度为20 bits，即一个令牌的最大长度是1m。令牌类型4bits，说明支持16种词汇类型。

为了实现无提取这个目的，vtd-xml将原xml文件原封不动的以二进制的方式读进内存，不做解码，然后在这个比特数组上解析每个元素的位置并把一些信息，如xml令牌的开始偏移量、长度、深度和令牌类型，记录下来，保存为vtd数组，之后的遍历操作便可在vtd数组上进行。如果需要提取xml内容，就查找vtd数组，利用vtd记录中的位置等信息在原始比特数组上进行解码并返回字符串。

而且vtd-xml还可以高效的实现增量更新，例如，如果想在一个大型xml文档中找出一个节点元素并删除它，那么只需要找到这个元素的vtd，将这个vtd从vtd数组中删除，然后再利用所有的vtd写出到另一个二进制数组中就可以了，因为删除的vtd标明了要删除的元素的位置，所以在新写入的二进制数组中就不会出现这段元素了。用vtd写入新的二进制数组的过程实际上就是一个二进制数组的拷贝过程，其效率是非常高的^[2]。

由此可见，vtd很好的解决了前两种解析方式的缺点，通过其巧妙的设计使得在解析xml文档时内存占用少，效率高，并且还能够实现xml文档的快速解析与遍历、提供对xpath的支持。vtd的出现是xml解析技术的一大进步，会对xml解析技术的发展产生巨大影响。

2.5 面向应用的对象式解析技术

前面所谈到的三种解析技术都是从xml的角度来处理文档和建立模型，这对于主要关心文档的xml结构的应用程序来说是适用的，但是有很多应用程序仅仅将xml作为数据交换的媒介，它们更关心的是文档数据本身。此时，面向应用的对象式解析(或称为xml数据绑定)可以使应用程序在很大程度上忽略xml文档的实际结构，而直接使用文档的数据内容。

数据绑定是指将数据从一些存储媒介(如xml文档、文本文件和数据库)中取出，并通过应用程序表示这些数据的过程，即把数据绑定到虚拟机能够理解并且可以操作的某种内存中的结构^[9]。数据绑定并不是一个新鲜的概念，其在关系数据库上早已得到了广泛的应用，如hibernate就是针对数据库的轻量级数据绑定框架。而针对xml数据绑定的castor框架在2000年就已经出现，目前已经涌现出了许多类似的框架，如jbind、jaxb、jibx、quick和zeus等。

其中jaxb(java architecture for xml binding)是一个处于不断发展中的应用于java平台的数据绑定框架，提供了一套在xml文档和java对象之间自动映射的api，符合jsr31--xml数据绑定规范（xml data binding specification）。该项目始于1999年8月，由java community process开发，其1.0版本于2002年10月发布，目前最新版本为2007年9月17日发布的jaxb2.1.5。

如图4，显示了数据绑定在数据库和xml文档中的应用。

图4 数据绑定

在数据绑定中有三个重要概念^[9]：

l        编组(marshalling)：把内存中的数据转换到存储介质中的过程。在java和xml环境中，编组就是把一些java对象转化为一个(或多个)xml文档。其核心就在于把java中的面向对象结构转化成适用于xml的扁平结构。

l        解组(unmarshalling)：把数据从存储媒介转换到内存中的过程。java和xml环境中，即将xml文档解组到java虚拟机中，其复杂性在于从数据到java代码变量的映射。

l        映射(mapping)：用于编组和解组的一套规则。

初看起来xml数据绑定和面向文档的对象式解析较为相似，都在内存中构建文档表示，同时内部表示和标准的xml文档之间可以互相转换。但两者之间的不同在于文档模型尽可能接近的保存xml的文档结构，而数据绑定只关心应用程序使用的文档数据^[7]。如图5所示，同一个xml文档的文档模型和数据绑定模型是完全不同的。

图5 文档模型和数据绑定模型比较

如果应用程序使用文档模型方法，那么获得所需要的数据就必须在节点树中根据父子节点关系进行遍历。而使用数据绑定方法，只需进行正常的java编程，访问数据更加容易，速度也比文档模型快得多。而且，xml数据绑定并不只是简化编程，由于它把许多文档细节抽象出来，所以数据绑定所需的内存通常少于文档模型所需的内存，如上图中，文档模型方法使用了10个单独的对象，而数据绑定才使用2个。此外，由于要构建的对象少得多，所以为xml文档构建数据绑定表示还可能更快^[7]。

在xml数据绑定中最为核心的是怎样由xml文档生成java对象。目前有两种方式：映射绑定方式和代码生成方式^[8]。在映射绑定方式中，构建自己的java类，并向绑定框架指定这些类如何与xml文档相关联。如框架castor和quick就支持这种方式。而代码生成方式则根据xml文档结构(即dtd或schema形式的文法)自动构建相应的java类，如jaxb、castor和jbind提供了根据xml文档的schema描述生成java代码，quick和zeus可根据dtd描述生成java代码。