不想跨集群传输数据?Dataphin自定义集群帮你搞定!

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin V3.13版本新增自定义注册调度集群功能。通过自定义注册不同集群并指定关联租户,可实现资源隔离管控;通过指定集成任务运行使用的资源组,可减少跨集群数据传输场景,降低流量带宽消耗,提高同步效率。

应用场景简介

当企业使用一套统一的数据开发与治理平台,但是业务形态比较复杂、或者有跨平台、境业务的时候,尝尝会有以下场景:

  • 开发平台部署在本地机房,需要将某个云上业务库A的数据集成到与A在同一Region下的业务库B
  • 由于业务形态不同,每个部门使用的数据库分布于不同的云平台,且较少有跨部门数据传输的场景,希望部门内数据同步时,尽可能降低调度资源消耗,提升单部门内部的数据同步效率

以上场景都面临一个相同的问题:数据所在集群与数据集成开发平台部署使用的集群不同,因此即使数据同步的来源和目标在同一个集群,也需要进行跨集群数据传输;不仅造成额外的资源消耗,也影响同步效率。

如何才能解决这个问题呢?Dataphin V3.13 版本重磅推出“自定义注册调度集群”的功能,只需要进行几步简单配置,就可以将其他集群注册到 Dataphin 上,并且可以使用急群众的指定机器资源作为调度资源进行数据同步,从而避免跨集群数据传输。

下面,我们就来看一下 Dataphin 如何自定义注册调度集群吧。

功能概览

1、注册调度集群

集群注册主要分为两步:

Step 1:首先在 Dataphin 平台中填写集群基本信息,包括:名称、负责人、描述、关联租户。仅关联租户可以使用该集群的资源创建自定义资源组,从而实现资源隔离管控。

Step 2:基本信息配置完成后,您还需要在指定集群完成“应用部署安装”等连接配置,注册的调度集群才可用。Dataphin 为您提供了集群链接配置引导:

  • 机器打标:在需要注册的集群中,通过机器打标的方式指定集群中可用于 Dataphin调度的机器,后续使用该集群资源组的任务仅会在已标记的机器上执行。您可快捷复制打标命令模板,替换参数后再执行。
  • 应用部署:下载每个已经添加到 Dataphin 的集群对应的描述文件,并联系部署运维人员或集群管理员在目标集群执行命令完成应用的安装与授权。安装成功后,注册的集群可向Dataphin集群上报有指定标签的机器资源信息,用于任务调度。

2、调度集群管理

元仓租户可以统一查看并管理所有已经注册到 Dataphin 的调度集群,包括:编辑集群信息、查看每个集群的可用资源量和集群状态等等。此外,每个业务租户可以查看自己被关联可使用的集群列表。

3、基于注册集群创建自定义资源组

创建自定义资源组时,支持选择当前租户关联可使用的自定义调度集群。使用自定义集群调度资源的任务运行时不会与 Dataphin 产生数据交换,从而减少跨 region 数据传输等场景下的流量带宽消耗,提升同步效率。

有了这个功能,比如场景 1 描述的问题,就可以在云平台上通过“容器管理服务”创建K8s集群,指定可用于Dataphin任务调度的机器,再将该集群注册到Dataphin中并创建对应的自定义资源组。创建集成任务时,为任务指定对应集群下创建好的调度资源组,即可实现同一region下的数据传输,而无需与Dataphin集群产生数据交换。

以后只需要一套 Dataphin 平台,就可以搞定所有业务、不同云平台的数据同步工作,不仅可以将集团数据进行统一管理,也不会产生资源浪费啦!是不是很心动呢,快来体验吧!

相关文章
|
2月前
|
SQL 人工智能 搜索推荐
Dataphin功能Tips系列(71)X-数据管家:数据资产运营的「AI外挂」
在企业数据治理中,数据资产规模庞大、字段繁多,手动录入效率低且易出错。Dataphin推出「X-数据管家」,利用大模型智能生成标签、描述及字段类型等信息,支持一键批量上架,大幅提升资产运营效率。
|
10月前
|
安全 数据挖掘 大数据
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
Dataphin的技术架构与实践路径,涵盖多引擎兼容、混合云架构、统一资产消费等方面,Dataphin通过持续升级,帮助企业实现全生命周期的数据资产管理,助力企业在大模型时代更好地“建好数据”、“用好数据”。
521 87
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
|
6月前
|
数据采集 存储 监控
星河中的数据旅程:从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理
在数据星河中,Starrocks星球的字段居民渴望登上资产管理平台,贡献数据力量。通过元数据采集、标准稽核与质量监控,字段们获得新身份“核心业务指标”。借助Dataphin平台功能,如自定义属性和QuickBI对接,它们最终参与经营分析报表,助力决策。Dataphin V4.4提升了全链路管理能力,新增大数据存储元数据采集、自定义指标等功能,释放数据潜力。加入Dataphin,探索数据无限可能!
169 8
|
5月前
|
运维 安全 数据管理
Dataphin V5.1 企业级发布:全球数据无缝集成,指标管理全新升级!
企业数据管理难题?Dataphin 5.1版来解决!聚焦跨云数据、研发效率、指标管理和平台运维四大场景,助力数据团队轻松应对挑战。无论是统一指标标准、快速定位问题,还是提升管理安全性,Dataphin都能提供强大支持。3分钟了解新版本亮点,让数据治理更高效!
|
8月前
|
数据采集 SQL 人工智能
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
463 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
|
7月前
|
分布式计算 监控 安全
产品评测|从数据标准到实时监控,深度解析Dataphin如何以智能提效与安全合规驱动企业数据价值释放
Dataphin是阿里巴巴基于OneData方法论打造的一站式数据治理与建设平台,帮助企业实现数据全生命周期管理。本文详细记录了使用Dataphin搭建离线数仓的全流程,包括环境准备、数仓规划、数据引入、处理、周期任务补数据、数据验证与分析等环节。体验中发现其离线管道任务、周期调度、补数据功能便捷高效,但也存在系统稳定性不足、文档更新滞后等问题。建议增强对JSON文件支持、优化资源推荐机制并完善脱敏操作功能,进一步提升用户体验。
|
10月前
|
数据采集 SQL 人工智能
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。
829 28
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
|
8月前
|
数据处理 调度

热门文章

最新文章