Dataphin V2.9.7-萃取3.0之ID中心功能简介

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: ID中心主要用于定义实体ID类型以及配置已经开发好的ID映射表(ID映射表的开发目前是人工交付实施,非萃取模块功能)。基于此处定义的ID类型,后续构建行为或者标签时,可以直接选择并指定其在不同的数据来源表中对应的字段,以字段值作为ID值存储,以实现ID数据的规范化聚合。

背景

ID是实体的标识,用来识别某个具体实体,如:通过身份证号能唯一识别个人、通过商品编码能识别具体的商品等等。一个实体可以对应多种ID,如消费者可以对应会员ID、手机号、邮箱。

通常情况下,一个确定的ID值能够唯一识别一个实体。但是某些场景下,由于ID变更等原因,存储的历史记录中,可能会有多个实体对应了同一个ID值,如:手机号可能会更换使用人,同一个手机号对应的消费记录,可能来自于不同的消费者。由此我们产生了“高质量ID——OneID”的概念。

OneID,即实体唯一标识,是基于当前已有的,丰富的实体ID数据,通过HOB-GN算法模型等,计算各系统和域中的多个独立的ID之间的关联关系,识别出核心ID和非核心ID,识别并聚合映像为自然界中的唯一实体,赋予该实体一个唯一的OneID,并最终产出ID映射表。

ID中心功能简介

ID中心主要用于定义实体ID类型以及配置已经开发好的ID映射表(ID映射表的开发目前是人工交付实施,非萃取模块功能)。基于此处定义的ID类型,后续构建行为或者标签时,可以直接选择并指定其在不同的数据来源表中对应的字段,以字段值作为ID值存储,以实现ID数据的规范化聚合。

注意:此处定义的ID英文名将作为后续存储的数据表的字段名,因此将默认存储为小写英文。


权限说明

实体ID的定义相对灵活,开发、项目管理员均可以创建、编辑、删除(有依赖校验)实体ID。OneID的配置会影响全局数据计算,因此仅项目管理员可以配置ID映射表并开启OneID归一化配置。访客和分析师仅支持查看,不支持修改。

功能说明

实体ID

实体ID的定义包括ID名称、ID英文名以及ID所属类目的定义。同时,您可以添加描述信息,说明该ID的含义及使用场景。创建成功后,您可以在“实体ID列表”查看目前已经创建好的ID类型,并可以在创建行为规则时选择。此外,您可以在每个ID的“属性抽屉”中查看该ID的消费信息,包括被哪些行为及行为规则引用、是哪些标签逻辑表的组成字段,以了解该ID的应用程度。

ID映射表及OneID归一化

如果您已经有开发好的ID映射表,可直接配置到萃取模块,并开启OneID归一化的功能,以实现基于OneID聚合行为数据并计算标签值的目的。为了保证调度依赖正确性,您可以自行指定ID映射表对应的调度节点(如果没有配置,将按照选择的项目名.表名匹配查询调度节点)。

配置完成ID映射表之后,您可以选择是否开启“OneID归一化”功能。

  • 若未开启ID归一化,则此处配置的ID映射表不会对标签计算产生影响。
  • 若开始了ID归一化功能:
  • 对于归一化成功的 ID值(ID 映射表能映射到对应的 ID_type和ID_value):将基于实体ID值和OneID值分别进行行为规则及标签值的计算。例:1个userid值和1个mobile值映射到同1个OneID值,则标签结果表会存储三条记录:只基于userid值算出来的结果:{美白:1.0};只基于mobile值算出来的结果:{保湿:1.0};基于OneID值计算出来的结果(汇总userid值和mobile值对应的行为数据):{美白:0.7,保湿0.3}
  • 归一化失败的 ID值,则仅基于实体ID值进行计算,且标签结果表中仅存储实体ID值对应的结果。

注意:ID映射表结构需要满足特定的规范,有oneid、key_type、key_id 3个字段,否则无法配置成功。

相关文章
|
18天前
|
机器人 数据中心
Dataphin功能Tips系列(79)精准获知标准更新动态,协同治理更高效
Dataphin支持数据标准变更订阅,可实时通过站内信、邮箱或钉群机器人通知相关人员,确保业务及时响应。用户可通过标准列表、个人中心等入口批量订阅,变更消息包含状态、版本及跳转链接,便于快速查看与处理。
|
25天前
|
数据采集 监控 调度
Dataphin功能Tips系列(76)质量规则调度配置系列(3)-定时调度
Dataphin「定时调度」功能支持按需设定数据质量检测时间与频率,适用于定期检查数据质量问题的场景。提供手动配置和系统推荐两种方式,可自动执行规则并生成报告,帮助用户高效发现并处理问题。
|
25天前
|
数据采集 运维 调度
Dataphin功能Tips系列(75)质量规则调度配置系列(2)-固定任务触发调度
Dataphin“固定任务触发调度”支持在任务成功或运行前触发质量规则校验。适用于表数据来源任务固定的场景,通过绑定强规则可阻断下游任务,防止脏数据扩散,提升数据质量管控能力。
|
25天前
|
数据管理
Dataphin功能Tips系列(78)自定义属性助力资产精细化管理
Dataphin V5.3升级自定义属性功能,支持多选、超链接及引用系统属性,实现资产“归口部门”与组织架构同步、指标看板一键跳转等场景,提升资产配置灵活性与管理效率。
|
25天前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
Dataphin通过“数据更新触发调度”功能,结合强规则校验,可在订单表数据更新时自动触发质量检查,异常时阻断下游任务,有效防止脏数据扩散,保障关键业务链路的数据准确性与稳定性。
|
25天前
|
安全 数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限通过“控制字段”实现精细化数据管控,有效避免传统字段权限过度开放带来的安全风险,提升权限管理效率与灵活性,满足复杂场景下的数据安全需求。
|
25天前
Dataphin功能Tips系列(77)如何实现数据资产上下架的精准管控与高效流转
在企业数据治理中,Dataphin支持按资产范围灵活配置上下架审批流程。通过标签、项目等条件圈选资产,绑定自定义审批模板,实现核心资产精细管控与大规模资产高效流转的平衡,提升数据运营效率。
|
25天前
|
SQL 人工智能 搜索推荐
Dataphin功能Tips系列(71)X-数据管家:数据资产运营的「AI外挂」
企业数据资产繁多,手动管理效率低易出错。Dataphin「X-数据管家」基于大模型智能生成标签、描述、字段类型等信息,支持批量处理与一键上架,大幅提升资产运营效率,实现高效数据治理。
87 15
|
25天前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
Dataphin数据探查功能助力高效识别数据质量问题,支持手动与自动两种探查模式。通过一键生成质量报告,快速检测空值、异常值、重复值等问题,全面掌握数据分布与健康状况,提升数据准备与分析准确性。
122 7
|
3月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
134 8

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin