本文由微信技术团队分享,原题“十年前的微信消息收发架构长啥样?”,下文进行了排版和内容优化等。
2023 年,微信及 wechat 的 dau(月活用户)达到 13.4 亿,微信已经是很多人工作、生活中不可或缺的一个环节。从 2011 年 1 月 21 日上线至今,微信已经走过了 13 个年头,其背后的技术基座与架构也发生了巨大的变化。这些变化背后,所折射的也正是中国互联网高速发展的黄金年代。
好的架构是迭代出来的,却也少不了良好的设计,本文将带大家回顾微信背后最初的也是最核心的im消息收发技术架构,愿各位读者能从中获得启发。
技术交流:
- 移动端im开发入门文章:《》
- 开源im框架源码:()
(本文已同步发布于:)
微信诞生于 qqmail 团队,初始的整个微信后台架构都带着浓重的邮箱气息,消息收发架构作为微信最为核心的部分,同样是基于邮箱的存储转发机制演变而来。
微信定位为即时通讯im软件,对消息的收发有2个基本的要求:
在邮箱的存储转发机制上做了改良后,微信的消息收发实现了以上2个基本要求。
首先通过手机 a 给手机 b 发送一条微信消息来看消息发送的整体架构是怎样的(如下图所示)。
微信消息发送在整体架构上可以分为2个部分。
第一部分:手机a发送消息到服务器(上图中1、2、3部分):
- 1)1 - 手机a发送发消息请求到接入层 connnectsvr;
- 2)2 - 接入层收到请求后,将请求转到逻辑层 sendsvr 进行处理;
- 3)3 - 逻辑层处理完各种逻辑(如反垃圾,黑名单等等)之后,将消息存入存储层 msgstore。
第二部分:服务器发送通知到手机b(上图中4、5.1、5.2、6、7部分):
1)4 - 逻辑层 sendsvr 将给手机 b 的新消息到达通知发送到通知处理服务器 pushsvr。
2)5.1 - pushsvr 查询手机 b 在接入层所在长连接的 connectsvr,并将通知发给该 connectsvr。
3)5.2 - pushsvr 发送一个 push tips 给手机操作系统自建的第三方 push 系统(如苹果的 ,微软的 wppush,黑莓的 bbpush 等)。像苹果的 ios 系统,在 app 退出到后台10分钟后就会释放掉该 app 所持有的所有资源(如 cpu,网络,内存等),导致之前建立的长连接通道也会一并断掉,此时通过5.1的方式进行通知是不可达的,所以还需要依赖与苹果自身的 apns 通道来达到实时通知的目的。
4)6 - 接入层 connnectsvr 通过手机 b 建立的长连接通道将新消息达到通知发送给手机 b。
5)7 - 第三方 push 服务器通过自建的 push 通过发送 push tips 到手机 b。
手机 b 在收到新消息到达通知后进行消息收取的整体架构如下图所示:
消息收取的流程主要分为3个步骤:
- 1)手机 b 发起收取消息的请求到接入层服务器 connnectsvr;
- 2)接入层服务器 connnectsvr 接到请求后转给逻辑层服务器 receivesvr 进行处理;
- 3)receivesvr 从存储层 msgstore 中获取到需要下发的消息。
在上述第4、5两节中分享的消息收发架构保障之下,微信可以保证手机 a 在发出消息 100ms 级别内让手机 b 收取到该条消息。
当然,对于退出后台的苹果 ios 的微信用户,在苹果的 apns 服务器正常的情况下,也可以保证在秒级别内通知到手机 b 点开 app 进入前台来收取消息。
虽然消息收发架构保证了消息收发双方能够及时收发消息,但该架构不能保证消息在传输过程中不发生丢弃。
当然为了达到任意一条消息都不丢的状态,最简单的方案是手机端对收到的每条消息都给服务器进行一次 ack 确认,但该方案在手机端和服务器之间的交互过多,并且也会遇到在弱网络情况下 ack 丢失等问题。
为了完美的做到消息不丢,微信消息系统对消息收发引入了 sequence 机制。
ps:感兴趣的话,以下是更多与im消息送达保证有关的文章,可以一并阅读:
7.1sequence 机制
- 1)每个用户都有42亿的 sequence 空间(从1到 uint_max),从小到大连续分配;
- 2)每个用户的每条消息都需要分配一个 sequence;
- 3)服务器存储有每个用户已经分配到的最大 sequence;
- 4)手机端存储有已收取消息的最大 sequence。
ps:微信sequence序列号生成的具体算法和实现详见《》。
7.2消息收取sequnece确认机制
当服务器和手机端都拥有了一个 sequence 之后,服务器和手机端之间就可以根据两者 sequence 的差异来收取消息,同时保证手机端未收取下去的消息最终能够收取下去。
具体流程如下图表示:
1)根据服务器和手机端之间 sequence 的差异,可以很轻松的实现增量下发手机端未收取下去的消息。
2)对于在弱网络环境差的情况,丢包情况发生概率是比较高的,此时经常会出现服务器的回包不能到达手机端的现象。由于手机端只会在确切的收取到消息后才会更新本地的 sequence,所以即使服务器的回包丢了,手机端等待超时后重新拿旧的 sequence 上服务器收取消息,同样是可以正确的收取未下发的消息。
3)由于手机端存储的 sequence 是确认收到消息的最大 sequence,所以对于手机端每次到服务器来收取消息也可以认为是对上一次收取消息的确认。一个帐号在多个手机端轮流登录的情况下,只要服务器存储手机端已确认的 sequence,那就可以简单的实现已确认下发的消息不会重复下发,不同手机端之间轮流登录不会收到其他手机端已经收取到的消息。
如上图4所示:假如手机 a 拿 seq_cli = 100 上服务器收取消息,此时服务器的 seq_svr = 150,那手机 a 可以将 sequence 为[101 - 150]的消息收取下去,同时手机 a 会将本地的 seq_cli 置为150。
如上图5所示:手机 a 在下一次再次上来服务器收取消息,此时 seq_cli = 150,服务器的 seq_svr = 200,那手机 a 可以将 sequence为[151 - 200]的消息收取下去。
如上图6所示:假如原手机 a 用户换到手机 b 登录,并使用 seq_cli = 120 上服务器收取消息,由于服务器已经确认 sequence <= 150 的消息已经被手机收取下去了,故不会再返回 sequence 为[121 - 150]的消息给手机 b,而是将 sequence 为[151 - 200]的消息下发给手机 b。
这里虽然 sequence 为[151 - 200]的消息有可能是被手机 a 和手机 b 都收取到,但由于手机 a 在收到 sequence 为[151 - 200]的消息时并没有给服务器进行确认或者这些消息手机 a 压根就没有收取到,所以为了防止消息丢失,sequence 为[的消息也是需要下发给手机 b 的。
以上简单文字描述的就是微信最初的im消息收发的架构。
该架构实现了即时通讯软件对消息收发所需的两个基本要求:
以上:是 2014 年微信古早时期的消息收发架构的基本介绍,时过境迁,微信的消息收发架构已经发生了巨大的变化,但我们还是可以从中看到技术演变的价值与力量。
程序员最大的成就与幸福,或许就是自己的代码跑在千万人的设备上,默默支撑着海量的需求。
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
《》
)
作者: (点击作者姓名进入github)
出处:
交流:欢迎加入即时通讯开发交流群
讨论:
jack jiang同时是和的作者,可前往下载交流。
本博文
欢迎转载,转载请注明出处(也可前往 找到我)。