解读OpenMessaging开源项目,阿里巴巴发起首个分布式消息领域的国际标准

本文涉及的产品
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
简介: OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。

10月14日,阿里巴巴2017杭州·云栖大会,Linux 基金会Leadship团队 CNCF 执行总裁 Dan Kohn和阿里巴巴集团研究员蒋江伟共同宣布了分布式消息领域的国际标准OpenMessaging开源项目正式入驻Linux基金会,这也是国内首个在全球范围发起的分布式计算领域的国际标准。

据悉,OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。

OpenMessaging的价值

在云计算时代,消息通讯已经成为现代数据驱动架构的关键环节,消息中间件可以连接数据源、数据处理引擎和应用程序。然而,全球范围内,消息领域仍然存在两大问题:一是缺乏供应商中立的行业标准,导致各种消息中间件的高复杂性和不兼容性,相应地造成了公司的产品低效、混乱和供应商锁定等问题。二是目前已有的方案框架并不能很好地适配云架构,即非云原生架构,因此无法有效地对大数据、流计算和物联网等新兴业务需求提供技术支持。

OpenMessaging抛弃历史包袱,轻装上阵,期望能解决这些弊端。除了做到可以链接跨平台、跨语言、跨产品和跨云的标准之外,OpenMessaging将提供Cloud Native的能力,面向云计算、混合云架构,实现多云平台无缝迁移,致力于提供金融、电子商务、IoT及大数据等领域的一站式解决方案。

详解OpenMessaging及其未来计划

OpenMessaging项目发起者阿里巴巴在分布式消息领域已深耕近十年。阿里巴巴自研消息中间件RocketMQ以万亿级的容量支撑阿里内部3000+应用,双十一当天承载上万亿消息流转;同时在阿里云上为数万个付费用户提供消息服务。RocketMQ的开源社区版本现已成为Apache基金会顶级项目,和Hadoop、Spark等大数据生态体系逐渐形成合力,被国内外互联网、金融,大数据等领域的企业广泛使用。

得益于阿里巴巴在消息领域沉淀的丰富经验,OpenMessaging项目是将互联网业务对消息的需求进行抽象,形成了一套能满足大多数业务场景的标准模型,并提供连接大数据和流计算平台的能力,逐步发展一个厂商无关的消息规范。具体而言,项目将首先推进开源消息解决方案的标准化接入,然后覆盖主流云平台,最后将生态外延,连接一切。

现如今,OpenMessaging项目已经开始在Apache RocketMQ中率先落地,并推广至整个阿里云平台,阿里云用户能最先通过OpenMessaging接入阿里云的消息生态。同时Apache RocketMQ的4.1.0版本实现了OpenMessaging的0.1.0-alpha版本,使用开源RocketMQ的用户可以率先使用OpenMessaging,RocketMQ官网提供了接入文档。

未来一年,OpenMessaging项目将会从开源社区、云平台和生态系统三个维度展开工作。

  • 开源社区:推出OpenMessaging的1.0版本,Apache RocketMQ和Apache Pulsar等开源产品会相继实现该标准,同时会尝试推进Spring Cloud,ActiveMQ、RabbitMQ、Kafka等主流平台接入。
  • 云平台:RocketMQ的实现会在阿里云的商业消息产品Aliware MQ中落地,成为阿里云平台的上默认消息接入规范,同时也会尝试了解其它云平台的接入意愿。
  • 生态系统:OpenMessaging主要会先从三个方面进行生态的延伸和发展。

    1. Connector,使OpenMessaging能覆盖主流的大数据和流计算平台。
    2. Replicator,提供连接主流数据库的能力,比如Mysql,Redis,HBase等。
    3. Appender,覆盖日志和Metrics领域。

目前,项目组建了一个较小的OpenMessaging Technical Steering Committee(OMTSC)和OpenMessaging Industrial Advisory Board (OMIAB),TSC成员会把控整个项目的方向和推动项目发展,IAB顾问组成员会为项目提供丰富的指导性建议,同时也有义务将项目在其所在组织进行推广和实现。其中,TSC的初始成员主要来自阿里、滴滴、雅虎和Streamlio等公司,TSC会带着这些公司的沉淀,在充分讨论的基础上,制定规范版本,同时提供多语言API和解决方案。而IAB成员则由业内相关领域的专家组成。

随着项目的推进,当主流开源项目和云提供商能支持OpenMessaging的实现时,用户可以低成本甚至无成本的在不同的产品和不同的云平台之间进行迁移,没有技术选项和多语言的困扰。这也是OpenMessaging项目的初衷。

阿里巴巴中间件技术部研究员蒋江伟表示,作为分布式系统消息服务规范标准,OpenMessaging的愿景是成为全球化、无国界、无公司边界,面向云和大数据,多行业领域的一站式方案标准。

写在后面

对于致力与成为全球化消息领域标准的OpenMessaging最大的挑战是如何做到厂商无关化,而得到众多厂商的支持和接入并非一蹴而就。OpenMessaging绝对不是封闭的技术圈,而是需要开放才能得到社区的认可和厂商的接入,要做到这一点,与更多技术流派的项目开发者、厂商的充分沟通是必不可少,希望更多的有志之士能加入OpenMessaging社区生态,促进其健康发展,共同为打造顶级消息行业开放规范标准而努力。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
6月前
|
人工智能 安全 应用服务中间件
阿里巴巴 MCP 分布式落地实践:快速转换 HSF 到 MCP server
本文分享了阿里巴巴内部将大规模HSF服务快速转换为MCP Server的实践经验,通过Higress网关实现MCP协议卸载,无需修改代码即可接入MCP生态。文章分析了MCP生态面临的挑战,如协议快速迭代和SDK不稳定性,并详细介绍了操作步骤及组件功能。强调MCP虽非终极解决方案,但作为AI业务工程化的起点具有重要意义。最后总结指出,MCP只是AI原生应用发展的第一步,未来还有更多可能性值得探索。
1117 49
|
12月前
|
机器学习/深度学习 边缘计算 人工智能
第二届边缘计算与并行、分布式计算国际学术会议(ECPDC 2025) 2025 2nd international Conference on Edge Computing, Parallel and Distributed Computing
第二届边缘计算与并行、分布式计算国际学术会议(ECPDC 2025) 2025 2nd international Conference on Edge Computing, Parallel and Distributed Computing 机器学习 计算学习理论 数据挖掘 科学计算 计算应用 数字图像处理 人工智能
246 6
|
9月前
|
安全 开发工具 git
git分布式版本控制系统及在码云上创建项目并pull和push
通过本文的介绍,我们详细讲解了Git的基本概念和工作流程,并展示了如何在码云上创建项目及进行pull和push操作。Git作为一种分布式版本控制系统,为开发者提供了强大的工具来管理代码变更和协作开发。希望本文能帮助您更好地理解和使用Git及码云,提高开发效率和代码质量。
307 18
|
9月前
|
安全 开发工具 git
git分布式版本控制系统及在码云上创建项目并pull和push
通过本文的介绍,我们详细讲解了Git的基本概念和工作流程,并展示了如何在码云上创建项目及进行pull和push操作。Git作为一种分布式版本控制系统,为开发者提供了强大的工具来管理代码变更和协作开发。希望本文能帮助您更好地理解和使用Git及码云,提高开发效率和代码质量。
240 16
|
9月前
|
人工智能 监控 开发者
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
177 0
|
12月前
|
消息中间件 监控 数据可视化
Apache Airflow 开源最顶级的分布式工作流平台
Apache Airflow 是一个用于创作、调度和监控工作流的平台,通过将工作流定义为代码,实现更好的可维护性和协作性。Airflow 使用有向无环图(DAG)定义任务,支持动态生成、扩展和优雅的管道设计。其丰富的命令行工具和用户界面使得任务管理和监控更加便捷。适用于静态和缓慢变化的工作流,常用于数据处理。
Apache Airflow 开源最顶级的分布式工作流平台
|
NoSQL Java Redis
面试官:项目中如何实现分布式锁?
面试官:项目中如何实现分布式锁?
312 7
面试官:项目中如何实现分布式锁?
|
资源调度 Java 调度
项目环境测试问题之Schedulerx2.0通过分布式分片任务解决单机计算瓶颈如何解决
项目环境测试问题之Schedulerx2.0通过分布式分片任务解决单机计算瓶颈如何解决
214 0
项目环境测试问题之Schedulerx2.0通过分布式分片任务解决单机计算瓶颈如何解决
|
存储 关系型数据库 MySQL
深度评测:PolarDB-X 开源分布式数据库的优势与实践
本文对阿里云开源分布式数据库 PolarDB-X 进行了详细评测。PolarDB-X 以其高性能、强可用性和出色的扩展能力在云原生数据库市场中脱颖而出。文章首先介绍了 PolarDB-X 的核心产品优势,包括金融级高可靠性、海量数据处理能力和高效的混合负载处理能力。随后,分析了其分布式架构设计,包括计算节点、存储节点、元数据服务和日志节点的功能分工。评测还涵盖了在 Windows 平台通过 WSL 环境部署 PolarDB-X 的过程,强调了环境准备和工具安装的关键步骤。使用体验方面,PolarDB-X 在处理分布式事务和实时分析时表现稳定,但在网络问题和性能瓶颈上仍需优化。最后,提出了改进建
|
存储 缓存 开发框架
看看 Asp.net core Webapi 项目如何优雅地使用分布式缓存
看看 Asp.net core Webapi 项目如何优雅地使用分布式缓存
192 0