数据质量最佳实践(5):利用质量分和排行榜提升企业数据质量【Dataphin V3.12】

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 在数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢?在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。

数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。

但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢?

在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。

一、质量分大盘

在Dataphin质量模块,新增了质量评分的页面,支持从以下角度查看质量分并进行治理。

1、全局质量分评估和全局质量分走势

可以查看全局质量分当前的评分水平,是属于优秀、良好、及格或者不及格的那一个水平中。

可以查看全局质量分的历史走势,判断全局质量情况是在变好还是变差。

2、项目/数据源/个人质量评估

可以从 质量分高/低 * 质量监控资产数多/少 四个象限来查看质量分的分布,需要重点关注监控资产数多 且 质量分低的区域中的项目/数据源/负责人。

3、项目/数据源/个人质量分排行榜

支持从最佳项目(质量分从高到低)、待提升项目(质量分从低到高)两个视角,查看项目质量分的排行榜。

4、项目/数据源/个人质量详情

支持查看项目(数据源、个人)质量分的详情,可以查看同环比变化等进一步的信息。

5、项目/数据源/个人质量分趋势

支持查看项目(数据源、个人)的质量分走势,判断数据质量是在优化还是在恶化。

6、项目/数据源/个人质量分详情

支持查看项目(数据源、个人)下所有监控表的质量详情,包括当前质量分、质量分走势、质量负责人等信息。

二、质量打分规则配置

1、质量规则支持配置质量分权重和计分方式

1、质量分权重:用于表质量分的加权计算

2、计分方式:

质量校验状态:按照校验成功失败计分,校验成功为100分,校验失败为0分

数据合格比例:按照数据满足质量的比例积分,如手机号完整率是70%,质量分就是70分

2、数据表支持配置质量分权重

支持配置数据表的质量分权重,用于加权汇总生成全局、项目、数据源和负责人的质量分。

三、结语

以上就是关于本次质量分和质量排行榜的介绍,希望大家都能通过数据质量分的能力,更好的发现企业存在的数据质量问题,并有针对性的进行优化,从而提升企业整体的数据质量水平。

有关质量模块更多的介绍,详见:

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展

数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率

数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题

数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理

数据质量最佳实践(4):支持范围和多级分区质量监控+按项目和个人管理数据质量【Dataphin V3.11】

相关文章
|
6月前
|
SQL 数据采集
Dataphin功能Tips系列(56)如何实现质量规则的批量修改
本文介绍了在Dataphin中针对Dataphin表和全域数据表的自定义SQL规则的批量修改的方法。
161 4
|
2月前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
在数据生产中,数据质量直接影响业务准确性。Dataphin 提供“数据更新触发调度”功能,结合强规则校验,可在数据更新时自动检测质量,异常时阻断下游任务,防止脏数据扩散,保障数据准确性与流程稳定。
|
8月前
|
数据采集 SQL 人工智能
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
473 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
|
7月前
|
分布式计算 监控 安全
产品评测|从数据标准到实时监控,深度解析Dataphin如何以智能提效与安全合规驱动企业数据价值释放
Dataphin是阿里巴巴基于OneData方法论打造的一站式数据治理与建设平台,帮助企业实现数据全生命周期管理。本文详细记录了使用Dataphin搭建离线数仓的全流程,包括环境准备、数仓规划、数据引入、处理、周期任务补数据、数据验证与分析等环节。体验中发现其离线管道任务、周期调度、补数据功能便捷高效,但也存在系统稳定性不足、文档更新滞后等问题。建议增强对JSON文件支持、优化资源推荐机制并完善脱敏操作功能,进一步提升用户体验。
|
8月前
|
SQL 分布式计算 数据挖掘
《智能数据建设与治理 Dataphin》的最佳实践
本文介绍了使用Dataphin进行离线数仓搭建的实操教程,涵盖从创建数据板块到数据分析的完整流程。内容包括登录控制台、配置计算源、创建离线管道、生成SQL语句、运行任务及验证数据等步骤。通过详细的操作指南和截图,帮助用户快速上手Dataphin,体验其强大的数据治理能力。总结中提到教程存在部分陈旧问题,建议加深对产品逻辑的理解以更好地掌握工具使用。
412 1
|
11月前
|
数据采集 安全 大数据
“点数成金”时代,如何应用全域数据资产治理释放企业数据价值?【瓴羊Dataphin在信通院2024数据资产管理大会】
在“点数成金”时代,企业数据成为宝贵资产。12月18-19日,信通院“2024数据资产管理大会”在京举办,瓴羊政企金融事业部总监徐宁分享了Dataphin在数据治理领域的创新方法论与实践经验,强调数据资产双循环和元数据管理的重要性。瓴羊副总裁王赛获颁数据资产管理专家证书。
287 16
|
监控
Dataphin功能Tips系列(10)-质量分计算口径
质量分大盘中的质量分计算口径是什么?
222 0
Dataphin功能Tips系列(10)-质量分计算口径
|
数据建模 供应链 定位技术
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系
364 0
|
机器学习/深度学习 SQL 安全
隐私计算最佳实践(1):如何基于Dataphin隐私计算实现广告精准营销、用户促活
我们在享受数据便利的同时,数据隐私安全问题也成为了困扰。Dataphin隐私计算可以帮助企业在遵循法律法规的要求下,既充分发挥数据的价值,同时又不会影响用户的数据隐私安全。
539 0
隐私计算最佳实践(1):如何基于Dataphin隐私计算实现广告精准营销、用户促活