码表也称lookup表、数据字典表,一般由中英文名称编码组成,由可枚举数据构成,存储枚举数据名称与编码的映射关系。码表可用于标准属性值取值范围的约束以及作为质量监控的参考数据。本文为您介绍在 Dataphin 创建码表的三种方式。
从内置码表模板库引入
Dataphin内置了一系列基于国标文件、行政区划政策文件的常用码表,如“中国行政区划”、“度量单位”、“货币代码”、“学历代码”、“经济类型分类代码”等。您可以一键引用并添加这些内置码表,助力企业5分钟建立高权威数据标准。
操作方式:访问“标准模板库”,查看内置码表的内容,选中符合需求的码表并点击“引用”,配置添加到的目标目录和引用内容(可选是否包含码表目录)、以及针对重名码表的操作策略,就可以快速完成通用码表的添加啦。
实战案例:某电商公司需要快速建立商品分类标准,通过引用内置的“商品分类代码”码表,省去了自行编制分类标准的繁琐过程,提高了数据标准化效率。
引用已有维表逆向建码表
V5.1 版本,Dataphin 新增支持直接引用已有表快速创建码表的能力码表通常在数仓系统中以“维表”的形式存在,针对已经存在的维表,能否快速将其作为码表使用呢?此外,针对主数据系统梳理好的核心表,如果可以直接引用已有表创建为码表,可快速完成码表创建,实现数据资产无缝复用;也可以便捷的一键更新码值,降低码表的维护成本。
操作方式:
- 码表定义方式选择“从表引入”:支持选择有 select 权限的计算源表/已通过元数据采集任务采集到的数据源表作为来源表,通过配置码表属性对应的来源字段,根据数据特性添加过滤条件仅获取需要的数据范围,即可快速完成码值的定义。
- 创建完成后,如有数据更新,可基于引用配置一键更新码值、或手动编辑已获取的码值数据,便于灵活管理。
实战案例:某零售集团将主数据系统的「商品分类表」同步为码表,确保总部与1000+门店编码统一。
自定义创建码表
如果码值相对简单,或已经有梳理好的本地文档,可以直接选择自定义创建码表。自定义码表支持在线编辑、本地导入两种方式。
- 在线编辑:代码值和代码名称必填,按需填写代码英文名称和代码描述;适用于码表数量较少的场景,如性别码表。
- 本地导入:如果已经有梳理好或者从其他系统中下载的本地文档(如从人事系统中下载部门码表),使用本地导入可大大提升配置效率;适用于码值数量较多的场景,如:某物流企业通过Excel导入包含2000+网点的三级地址码表。
- 下载导入模板,按引导分别填写码值信息和码表信息 sheet 并导入
- 如果有配置错误,在导入反馈页面可下载带有错误提示的异常记录,整改后再重新导入异常记录
- 后续如需更新导入的码表,可以直接在线编辑,也可以批量导出修改后再重新导入
通过以上三种方式,Dataphin 帮助用户高效创建和管理码表,提升数据标准化水平,确保数据的一致性和合规性。
后续应用
码表配置完成后,可与数据标准关联使用,将指定码表的码值作为标准属性的下拉选项来源,或将码表整体作为标准“值域”属性的来源。此外,码表还可以关联质量规则适用,选择“数据标准码表监控”,将监控表的数据内容与数据标准码表进行对比,用于监控数据内容的一致性与合规性,助力提升数据质量。