comet技术详解:基于http长连接的web端实时通信技术 -凯发k8网页登录

我的最新工程mobileimsdk:http://git.oschina.net/jackjiang/mobileimsdk
posts - 336, comments - 13, trackbacks - 0, articles - 0

一般来说,web端即时通讯技术因受限于浏览器的设计限制,一直以来实现起来并不容易,主流的web端即时通讯方案大致有4种:传统ajax短轮询、comet技术、websocket技术、sse(server-sent events)。

关于这4种技术方式的优缺点,请参考《》。本文将专门讲解comet技术。(本文同步发布于:

- 即时通讯开发交流群:  [推荐]

- 更多即时通讯技术资料:

本文将介绍如何在现有的技术基础上选择合适的方案开发一个“服务器推”(comet技术)的应用,最优的方案还是取决于应用需求的本身。相对于传统的 web 应用, 开发 comet 应用具有一定的挑战性。

在websocket技术没有完全解决浏览器兼容问题前,“服务器推”(comet技术)存在广泛的应用需求,需求推动技术的发展,comet 技术在web端即时通讯的方案里几乎不可或缺。

传统模式的 web 系统以客户端发出请求、服务器端响应的方式工作。这种方式并不能满足很多现实应用的需求,譬如:

  • 监控系统:后台硬件热插拔、led、温度、电压发生变化;
  • 即时通信系统:其它用户登录、发送信息;
  • 即时报价系统:后台数据库内容发生变化。


这些应用都需要服务器能实时地将更新的信息传送到客户端,而无须客户端发出请求。“服务器推”技术在现实应用中有一些凯发天生赢家一触即发官网的解决方案,本文将这些凯发天生赢家一触即发官网的解决方案分为两类:一类需要在浏览器端安装插件,基于套接口传送信息,或是使用 rmi、corba 进行远程调用;而另一类则无须浏览器安装任何插件、基于 http 长连接。

将“服务器推”应用在 web 程序中,首先考虑的是如何在功能有限的浏览器端接收、处理信息:

  • 客户端如何接收、处理信息,是否需要使用套接口或是使用远程调用。客户端呈现给用户的是 html 页面还是 java applet 或 flash 窗口。如果使用套接口和远程调用,怎么和 javascript 结合修改 html 的显示。
  • 客户与服务器端通信的信息格式,采取怎样的出错处理机制。
  • 客户端是否需要支持不同类型的浏览器如 ie、firefox,是否需要同时支持 windows 和 linux 平台。

1)flash xmlsocket

如果 web 应用的用户接受应用只有在安装了 flash 播放器才能正常运行, 那么使用 flash 的 xmlsocket 也是一个可行的方案。

这种方案实现的基础是:

  • flash 提供了 xmlsocket 类。
  • javascript 和 flash 的紧密结合:在 javascript 可以直接调用 flash 程序提供的接口。


具体实现方法:在 html 页面中内嵌入一个使用了 xmlsocket 类的 flash 程序。javascript 通过调用此 flash 程序提供的套接口接口与服务器端的套接口进行通信。javascript 在收到服务器端以 xml 格式传送的信息后可以很容易地控制 html 页面的内容显示。

关于如何去构建充当了 javascript 与 flash xmlsocket 桥梁的 flash 程序,以及如何在 javascript 里调用 flash 提供的接口,我们可以参考 aflax(asynchronous flash and xml)项目提供的 socket demo 以及 socketjs(请参见 参考资源)。

javascript 与 flash 的紧密结合,极大增强了客户端的处理能力。从 flash 播放器 v7.0.19 开始,已经取消了 xmlsocket 的端口必须大于 1023 的限制。linux 平台也支持 flash xmlsocket 方案。但此方案的缺点在于:

  • 客户端必须安装 flash 播放器;
  • 因为 xmlsocket 没有 http 隧道功能,xmlsocket 类不能自动穿过防火墙;
  • 因为是使用套接口,需要设置一个通信端口,防火墙、代理服务器也可能对非 http 通道端口进行限制。


不过这种方案在一些网络聊天室,网络互动游戏中已得到广泛使用。

2)java applet 套接口

在客户端使用 java applet,通过 java.net.socket 或 java.net.datagramsocket 或 java.net.multicastsocket 建立与服务器端的套接口连接,从而实现“服务器推”。

这种方案最大的不足在于 java applet 在收到服务器端返回的信息后,无法通过 javascript 去更新 html 页面的内容。

1)comet 简介

浏览器作为 web 应用的前台,自身的处理功能比较有限。浏览器的发展需要客户端升级软件,同时由于客户端浏览器软件的多样性,在某种意义上,也影响了浏览器新技术的推广。在 web 应用中,浏览器的主要工作是发送请求、解析服务器返回的信息以不同的风格显示。ajax 是浏览器技术发展的成果,通过在浏览器端发送异步请求,提高了单用户操作的响应性。但 web 本质上是一个多用户的系统,对任何用户来说,可以认为服务器是另外一个用户。现有 ajax 技术的发展并不能解决在一个多用户的 web 应用中,将更新的信息实时传送给客户端,从而用户可能在“过时”的信息下进行操作。而 ajax 的应用又使后台数据更新更加频繁成为可能。

图 1. 传统的 web 应用模型与基于 ajax 的模型之比较:
 

“服务器推”是一种很早就存在的技术,以前在实现上主要是通过客户端的套接口,或是服务器端的远程调用。因为浏览器技术的发展比较缓慢,没有为“服务器推”的实现提供很好的支持,在纯浏览器的应用中很难有一个完善的方案去实现“服务器推”并用于商业程序。最近几年,因为 ajax 技术的普及,以及把 iframe 嵌在“htmlfile“的 activex 组件中可以解决 ie 的加载显示问题,一些受欢迎的应用如 meebo,gmail gtalk 在实现中使用了这些新技术;同时“服务器推”在现实应用中确实存在很多需求。因为这些原因,基于纯浏览器的“服务器推”技术开始受到较多关注,alex russell(dojo toolkit 的项目 lead)称这种基于 http 长连接、无须在浏览器端安装插件的“服务器推”技术为“comet”。目前已经出现了一些成熟的 comet 应用以及各种开源框架;一些 web 服务器如 jetty 也在为支持大量并发的长连接进行了很多改进。关于 comet 技术最新的发展状况请参考关于 。

下面将介绍两种 comet 应用的实现模型。

2)comet技术实现模型1:基于 ajax 的长轮询(long-polling)方式

如 图 1 所示,ajax 的出现使得 javascript 可以调用 xmlhttprequest 对象发出 http 请求,javascript 响应处理函数根据服务器返回的信息对 html 页面的显示进行更新。使用 ajax 实现“服务器推”与传统的 ajax 应用不同之处在于:

  • 服务器端会阻塞请求直到有数据传递或超时才返回。
  • 客户端 javascript 响应处理函数会在处理完服务器返回的信息后,再次发出请求,重新建立连接。
  • 当客户端处理接收的数据、重新建立连接时,服务器端可能有新的数据到达;这些信息会被服务器端保存直到客户端重新建立连接,客户端会一次把当前服务器端所有的信息取回。


图 2. 基于长轮询的服务器推模型:
 

一些应用及示例如 “meebo”, “pushlet chat” 都采用了这种长轮询的方式。相对于“轮询”(poll),这种长轮询方式也可以称为“拉”(pull)。因为这种方案基于 ajax,具有以下一些优点:请求异步发出;无须安装插件;ie、mozilla firefox 都支持 ajax。

在这种长轮询方式下,客户端是在 xmlhttprequest 的 readystate 为 4(即数据传输结束)时调用回调函数,进行信息处理。当 readystate 为 4 时,数据传输结束,连接已经关闭。mozilla firefox 提供了对 streaming ajax 的支持, 即 readystate 为 3 时(数据仍在传输中),客户端可以读取数据,从而无须关闭连接,就能读取处理服务器端返回的信息。ie 在 readystate 为 3 时,不能读取服务器返回的数据,目前 ie 不支持基于 streaming ajax。

3)comet技术实现模型2:基于 iframe 及 htmlfile 的流(streaming)方式

iframe 是很早就存在的一种 html 标记, 通过在 html 页面里嵌入一个隐蔵帧,然后将这个隐蔵帧的 src 属性设为对一个长连接的请求,服务器端就能源源不断地往客户端输入数据。

图 3. 基于流方式的服务器推模型:
 

上节提到的 ajax 方案是在 javascript 里处理 xmlhttprequest 从服务器取回的数据,然后 javascript 可以很方便的去控制 html 页面的显示。同样的思路用在 iframe 方案的客户端,iframe 服务器端并不返回直接显示在页面的数据,而是返回对客户端 javascript 函数的调用,如“”。服务器端将返回的数据作为客户端 javascript 函数的参数传递;客户端浏览器的 javascript 引擎在收到服务器返回的 javascript 调用时就会去执行代码。

从 图 3 可以看到,每次数据传送不会关闭连接,连接只会在通信出现错误时,或是连接重建时关闭(一些防火墙常被设置为丢弃过长的连接, 服务器端可以设置一个超时时间, 超时后通知客户端重新建立连接,并关闭原来的连接)。

使用 iframe 请求一个长连接有一个很明显的不足之处:ie、morzilla firefox 下端的进度栏都会显示加载没有完成,而且 ie 上方的图标会不停的转动,表示加载正在进行。google 的天才们使用一个称为“htmlfile”的 activex 解决了在 ie 中的加载显示问题,并将这种方法用到了 gmail gtalk 产品中。alex russell 在 “what else is burried down in the depth's of google's amazing javascript?”文章中介绍了这种方法。zeitoun 网站提供的 comet-iframe.tar.gz,封装了一个基于 iframe 和 htmlfile 的 javascript comet 对象,支持 ie、mozilla firefox 浏览器,可以作为参考。

上面介绍了两种基于 http 长连接的“服务器推”架构,更多描述了客户端处理长连接的技术。对于一个实际的应用而言,系统的稳定性和性能是非常重要的。将 http 长连接用于实际应用,很多细节需要考虑。

1)不要在同一客户端同时使用超过两个的 http 长连接

我们使用 ie 下载文件时会有这样的体验,从同一个 web 服务器下载文件,最多只能有两个文件同时被下载。第三个文件的下载会被阻塞,直到前面下载的文件下载完毕。这是因为 http 1.1 规范中规定,客户端不应该与服务器端建立超过两个的 http 连接, 新的连接会被阻塞。而 ie 在实现中严格遵守了这种规定。

http 1.1 对两个长连接的限制,会对使用了长连接的 web 应用带来如下现象:在客户端如果打开超过两个的 ie 窗口去访问同一个使用了长连接的 web 服务器,第三个 ie 窗口的 http 请求被前两个窗口的长连接阻塞。

所以在开发长连接的应用时, 必须注意在使用了多个 frame 的页面中,不要为每个 frame 的页面都建立一个 http 长连接,这样会阻塞其它的 http 请求,在设计上考虑让多个 frame 的更新共用一个长连接。

2)服务器端的性能和可扩展性

一般 web 服务器会为每个连接创建一个线程,如果在大型的商业应用中使用 comet,服务器端需要维护大量并发的长连接。在这种应用背景下,服务器端需要考虑负载均衡和集群技术;或是在服务器端为长连接作一些改进。

应用和技术的发展总是带来新的需求,从而推动新技术的发展。http 1.1 与 1.0 规范有一个很大的不同:1.0 规范下服务器在处理完每个 get/post 请求后会关闭套接口连接; 而 1.1 规范下服务器会保持这个连接,在处理两个请求的间隔时间里,这个连接处于空闲状态。 java 1.4 引入了支持异步 io 的 java.nio 包。当连接处于空闲时,为这个连接分配的线程资源会返还到线程池,可以供新的连接使用;当原来处于空闲的连接的客户发出新的请求,会从线程池里分配一个线程资源处理这个请求。 这种技术在连接处于空闲的机率较高、并发连接数目很多的场景下对于降低服务器的资源负载非常有效。

但是 ajax 的应用使请求的出现变得频繁,而 comet 则会长时间占用一个连接,上述的服务器模型在新的应用背景下会变得非常低效,线程池里有限的线程数甚至可能会阻塞新的连接。jetty 6 web 服务器针对 ajax、comet 应用的特点进行了很多创新的改进,请参考文章“ajax,comet and jetty”。

3)控制信息与数据信息使用不同的 http 连接

使用长连接时,存在一个很常见的场景:客户端网页需要关闭,而服务器端还处在读取数据的堵塞状态,客户端需要及时通知服务器端关闭数据连接。服务器在收到关闭请求后首先要从读取数据的阻塞状态唤醒,然后释放为这个客户端分配的资源,再关闭连接。

所以在设计上,我们需要使客户端的控制请求和数据请求使用不同的 http 连接,才能使控制请求不会被阻塞。

在实现上,如果是基于 iframe 流方式的长连接,客户端页面需要使用两个 iframe,一个是控制帧,用于往服务器端发送控制请求,控制请求能很快收到响应,不会被堵塞;一个是显示帧,用于往服务器端发送长连接请求。如果是基于 ajax 的长轮询方式,客户端可以异步地发出一个 xmlhttprequest 请求,通知服务器端关闭数据连接。

4)在客户和服务器之间保持“心跳”信息

在浏览器与服务器之间维持一个长连接会为通信带来一些不确定性:因为数据传输是随机的,客户端不知道何时服务器才有数据传送。服务器端需要确保当客户端不再工作时,释放为这个客户端分配的资源,防止内存泄漏。因此需要一种机制使双方知道大家都在正常运行。在实现上:

  • 服务器端在阻塞读时会设置一个时限,超时后阻塞读调用会返回,同时发给客户端没有新数据到达的心跳信息。此时如果客户端已经关闭,服务器往通道写数据会出现异常,服务器端就会及时释放为这个客户端分配的资源。
  • 如果客户端使用的是基于 ajax 的长轮询方式;服务器端返回数据、关闭连接后,经过某个时限没有收到客户端的再次请求,会认为客户端不能正常工作,会释放为这个客户端分配、维护的资源。
  • 当服务器处理信息出现异常情况,需要发送错误信息通知客户端,同时释放资源、关闭连接。

comet开源工程推荐

pushlet:
pushlet 是一个开源的 comet 框架,在设计上有很多值得借鉴的地方,对于开发轻量级的 comet 应用很有参考价值。使用了观察者模型。浏览器端提供了基于 ajax 和 iframe 的 javascript 库,服务器端使用 java servlet。地址是:

icomet:
icomet 是一个使用 c 语言开发的支持百万并发连接的 comet/push 服务器, 支持百万级并发连接, 内存占用少, 性能优越. 可用于移动 app 的 push server(消息推送服务器), 或者用于 web push(web 服务器推). 用于 web push 时, 支持的浏览器和操作系统平台包括: safari(ios, mac), firefox/chrome(windows, mac), ie6 。详细请参见:

web端即时通讯新手入门:
《》

web端即时通讯技术盘点请参见:
《》

关于ajax短轮询:
找这方面的资料没什么意义,除非忽悠客户,否则请考虑其它3种方案即可。

有关comet技术的详细介绍请参见:
《》
《》
《》
《》

有关websocket的详细介绍请参见:
《》
《》
《》
《》
《》

有关sse的详细介绍文章请参见:
《》

更多web端即时通讯文章请见:

(本文同步发布于:

作者: (点击作者姓名进入github) 
出处: 
交流:欢迎加入即时通讯开发交流群  
讨论:
jack jiang同时是和的作者,可前往下载交流。
本博文 欢迎转载,转载请注明出处(也可前往  找到我)。 



作者: (点击作者姓名进入github)
出处:
交流:欢迎加入即时通讯开发交流群
讨论:
jack jiang同时是和的作者,可前往下载交流。
本博文 欢迎转载,转载请注明出处(也可前往 找到我)。


只有注册用户后才能发表评论。


网站导航:
              
 
jack jiang的 mail: jb2011@163.com, 联系qq: 413980957, 微信: hellojackjiang
网站地图