数据标准码表的3种创建方式

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 码表(Lookup表)由可枚举数据组成,用于存储名称与编码的映射关系,适用于属性值约束和质量监控。本文介绍在Dataphin创建码表的三种方式:1) 引用内置模板库,如行政区划、度量单位等标准码表;2) 从已有维表逆向生成码表,实现数据资产复用;3) 自定义创建,支持在线编辑或本地导入。通过这些方式,用户可高效管理码表,提升数据标准化水平,并将其应用于数据标准和质量规则中,确保数据一致性和合规性。

码表也称lookup表、数据字典表,一般由中英文名称编码组成,由可枚举数据构成,存储枚举数据名称与编码的映射关系。码表可用于标准属性值取值范围的约束以及作为质量监控的参考数据。本文为您介绍在 Dataphin 创建码表的三种方式。

从内置码表模板库引入

Dataphin内置了一系列基于国标文件、行政区划政策文件的常用码表,如“中国行政区划”、“度量单位”、“货币代码”、“学历代码”、“经济类型分类代码”等。您可以一键引用并添加这些内置码表,助力企业5分钟建立高权威数据标准。

操作方式:访问“标准模板库”,查看内置码表的内容,选中符合需求的码表并点击“引用”,配置添加到的目标目录和引用内容(可选是否包含码表目录)、以及针对重名码表的操作策略,就可以快速完成通用码表的添加啦。

实战案例:某电商公司需要快速建立商品分类标准,通过引用内置的“商品分类代码”码表,省去了自行编制分类标准的繁琐过程,提高了数据标准化效率。

引用已有维表逆向建码表

V5.1 版本,Dataphin 新增支持直接引用已有表快速创建码表的能力码表通常在数仓系统中以“维表”的形式存在,针对已经存在的维表,能否快速将其作为码表使用呢?此外,针对主数据系统梳理好的核心表,如果可以直接引用已有表创建为码表,可快速完成码表创建,实现数据资产无缝复用;也可以便捷的一键更新码值,降低码表的维护成本。

操作方式

  1. 码表定义方式选择“从表引入”:支持选择有 select 权限的计算源表/已通过元数据采集任务采集到的数据源表作为来源表,通过配置码表属性对应的来源字段,根据数据特性添加过滤条件仅获取需要的数据范围,即可快速完成码值的定义。
  2. 创建完成后,如有数据更新,可基于引用配置一键更新码值、或手动编辑已获取的码值数据,便于灵活管理。

实战案例:某零售集团将主数据系统的「商品分类表」同步为码表,确保总部与1000+门店编码统一。

自定义创建码表

如果码值相对简单,或已经有梳理好的本地文档,可以直接选择自定义创建码表。自定义码表支持在线编辑、本地导入两种方式。

  1. 在线编辑:代码值和代码名称必填,按需填写代码英文名称和代码描述;适用于码表数量较少的场景,如性别码表。
  2. 本地导入:如果已经有梳理好或者从其他系统中下载的本地文档(如从人事系统中下载部门码表),使用本地导入可大大提升配置效率;适用于码值数量较多的场景,如:某物流企业通过Excel导入包含2000+网点的三级地址码表。
  1. 下载导入模板,按引导分别填写码值信息和码表信息 sheet 并导入
  2. 如果有配置错误,在导入反馈页面可下载带有错误提示的异常记录,整改后再重新导入异常记录
  3. 后续如需更新导入的码表,可以直接在线编辑,也可以批量导出修改后再重新导入

通过以上三种方式,Dataphin 帮助用户高效创建和管理码表,提升数据标准化水平,确保数据的一致性和合规性。

后续应用

码表配置完成后,可与数据标准关联使用,将指定码表的码值作为标准属性的下拉选项来源,或将码表整体作为标准“值域”属性的来源。此外,码表还可以关联质量规则适用,选择“数据标准码表监控”,将监控表的数据内容与数据标准码表进行对比,用于监控数据内容的一致性与合规性,助力提升数据质量。

相关文章
|
6月前
|
数据可视化 数据挖掘 BI
指标透明化+管理敏捷化:Dataphin指标关系图与业务指标管理
通过Dataphin的业务指标定义和管理功能,业务人员能够以标准化方式快速创建业务指标并详细说明其详情,从而实现与技术人员的高效沟通,促进相关技术指标的快速开发。此外,业务人员还可以利用Dataphin的指标关系图功能,直观地理解指标的加工逻辑,并迅速定位异常数据根因,从而显著提高问题解决的效率。
308 8
|
5月前
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
349 0
|
6月前
|
运维 监控
Dataphin V5.0:增全量一体实时集成
数据集成中,离线与实时方式各有优劣。为解决传统“全量+增量”双轨模式运维复杂的问题,Dataphin 5.0推出“全量+增量一体化实时同步”功能。用户仅需创建一个实时任务,即可完成整库或多表的数据迁移,系统自动协调全量与增量同步,简化管理并降低运维成本。该功能支持灵活配置启动范围与方式,提供实时监控及操作能力,大幅提升数据同步效率与稳定性。
208 41
|
6月前
|
数据采集 监控 安全
数据治理起步难?Dataphin内置模板来帮你
数据治理冷启动常因沟通协调多、流程长且配置繁琐而受阻。Dataphin 提供多种内置模板,涵盖数据标准码表(如行政区划、度量单位等)、安全分类分级(如金融、能源行业规范)、数据质量规则(40+常用规则)及识别特征(如手机号、身份证号),助力企业快速构建治理框架,提升效率,加速数据战略实施。
186 0
|
6月前
|
数据采集 存储 监控
星河中的数据旅程:从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理
在数据星河中,Starrocks星球的字段居民渴望登上资产管理平台,贡献数据力量。通过元数据采集、标准稽核与质量监控,字段们获得新身份“核心业务指标”。借助Dataphin平台功能,如自定义属性和QuickBI对接,它们最终参与经营分析报表,助力决策。Dataphin V4.4提升了全链路管理能力,新增大数据存储元数据采集、自定义指标等功能,释放数据潜力。加入Dataphin,探索数据无限可能!
169 8
|
4月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
422 0
|
数据管理
Dataphin功能Tips系列(63)-自定义属性+使用说明:让数据资产不再沉睡
在企业数据管理中,常因信息缺失或描述模糊导致数据资产难以定位,造成重复建设与低效协作。Dataphin提供资产属性管理功能,支持自定义属性与图文详解说明,提升资产可见性与使用效率,助力快速定位与理解数据资产。
142 0
|
6月前
|
数据采集 安全 大数据
Dataphin 5.1:API数据源及管道组件升级,适配多样化认证的API
为提升API数据交互安全性,Dataphin 5.1推出两种新认证方式:基于OAuth 2.0的动态授权与请求签名认证。前者通过短期Access Token确保安全,后者对关键参数加密签名保障数据完整性。功能支持API数据源OAuth 2.0认证和自定义签名配置,未来还将拓展更灵活的认证方式以满足多样化需求。
190 14
|
3月前
|
数据采集 监控 数据管理
数据管理最容易混淆的3个概念:元数据、数据元、元模型
本文深入解析数据领域三大核心概念:“元数据”“数据元”“元模型”,从定义、用途到实际应用,清晰区分三者区别。元数据是“数据的说明书”,描述数据来源与使用方式;数据元是“最小数据单元”的标准,确保数据统一与规范;元模型是“模型的设计规则”,指导模型合理构建。三者相辅相成,是数据治理不可或缺的基础。掌握它们,助你提升数据管理效率,避免踩坑。
|
3月前
|
SQL 数据管理 API
【产品升级】Dataphin V5.2 全新上线:四大能力升级,数据管理更统一、更智能!
Dataphin是阿里巴巴推出的数据建设与治理平台,提供全链路数据服务,助力企业构建标准化数据资产体系。V5.2版本新增“数据资产一站式运营平台”,引入X-数据管家、X-ETL等智能应用,提升数据运营效率。开发平台全面升级,支持多云复杂环境,强化API行级权限管控,保障数据安全。新版还适配国际化多时区场景,助力企业高效协同,释放数据价值。
342 9