如何高效实现主数据归一化？

如何高效实现主数据归一化？_光点科技

2020-10-13 14:53:47

光点科技

数据治理

一、什么是主数据？

指政府或企业的核心数据，例如企业的客户、供应商、订单数据，政府的人口、法人、宏观经济数据，特点是有较强的应用和共享需求。

二、什么是主数据归一化？

目前企业的主数据通常分散在不同的业务部门和业务系统中，导致主数据不唯一、不一致、不完整，难以满足辅助决策和驱动业务的需求，需要通过采集、清洗、融合等手段，实现主数据一数一源一码（以中台为主数据的唯一数据源，每条主数据由唯一的ID），并建立主数据库。

三、数据归一化有何价值？

1、整合协同、降本增效

各系统主数据的标准统一，解决数据重复、不一致、不准确、不完整的问题，打通企业的采购、生产、制造、营销、财务管理等各个环节，大大提升业务之间协作的效率，减低由于数据不一致引起的沟通成本。

2、增加收入、提升盈利

建立360°客户主数据视图，建立客户关系模型，支撑企业精准营销，提升盈利水平、增加销售收入。

3、数据驱动、智能决策

相比基于本能、假设，或认知偏见而做出的决策,基于证据的决策更可靠。通过数据驱动的方法,你将能够判断趋势,从而展开有效行动,帮助自己发现问题,推动创新或解决方案出现。

四、有什么更高效的数据归一化手段？

传统方案大多采用编码或开源ETL工具进行数据归一化处理，门槛高、效率低。而运用自动智能、使用简单的数据中台，则能大幅度提升效率、降低成本。

接下来以某支付公司的供应商主数据归一化治理项目为例，其供应商数据分散在税务、CRM两个业务系统里，存在以下问题：

两个系统供应商数量不同；
税务系统中的供应商名称、编码，和CRM系统中的供应商名称、编码不能一一对应；
CRM系统中缺失关键字段。

本次数据归一化目标是逐步消除数据差异，建立唯一、一致、准确、更新及时的供应商数据库。

项目实施流程如下：

1、盘点数据源

使用中台连接税务、CRM系统，分别对其供应商表进行数据盘点。税务系统供应商表结构如下，供应商数据为17892条：

税务系统供应商表字段

CRM系统供应商表结构如下，供应商数据为20043条：

CRM系统供应商表字段

对比税务、CRM系统的供应商数据发现，CRM系统数据缺失纳税人识别号这一关键字段，无法通过该字段确定供应商唯一性，所以只能通过供应商名称和供应商编码两个字段一起确定供应商的唯一性。

现根据供应商名称（以下简称名称）是否一致，和供应商编码（以下简称编码）是否一致，将数据分为以下几类：

1）名称一致编码一致的数据

2）名称一致编码不一致的数据

3）编码一致名称不一致的数据

4）名称编码都不一致的数据

2、制定主数据标准

税务系统和CRM系统的供应商数据经过筛选处理后，将融合成一张供应商主数据表，现制定供应商主数据标准，规定供应商数据有以下字段和数据标准（其中数据标准暂且不在此篇说明，详情请关注本公众号后续内容）：

主数据标准图

3、数据采集融合

中台分别从税务系统和CRM系统中采集供应商数据，现将两表融合，思路大概如下：

数据融合逻辑图

1）比对名称

税务系统供应商表与CRM系统供应商比对名称，得到两类数据：

名称一致
名称不一致

2）比对编码

分别对以上两类数据比对供应商编码，得到4类数据：

名称一致编码不一致
名称一致编码一致
名称不一致编码一致
名称不一致编码不一致

3）数据处理

分别对以上4类数据做出以下处理：

名称一致编码不一致：用税务系统的供应商编码替换CRM系统的供应商编码，并按照主数据标准筛选字段；
名称一致编码一致：按照主数据标准筛选字段；
名称不一致编码一致：用税务系统的供应商名称替换CRM系统的供应商名称，并按照主数据标准筛选字段；
名称不一致编码不一致：按照主数据标准筛选字段。

4）合并数据

将4类处理完的数据合并为一张表，得到供应商主数据表。

使用中台设计数据融合流程如下：

融合流程图

由于该案例无名称不一致编码一致数据，遂不做处理。

流程设计完后设置数据更新策略，帮助用户得到更新及时的数据：

数据更新策略图

最终得到供应商数据为19821条，供应商主数据部分表如下：

主数据图

在上述案例中，使用数据中台实现数据归一化具有以下三大优势：

1、支持多源异构数据的采集：关系型数据库、大数据平台、文件数据源、服务数据源。

2、可视化设计数据融合流程，用户无需编写代码即可完成数据加工融合；

3、实现数据增量采集与融合的自动化作业，同时提供数据更新看板，让用户省时省力。

光点科技的GI大数据中台融合新一代中台理念和技术打造，提供数据汇聚、数据融合、数据治理、数据服务和资产管理五大能力，帮助客户打造“大中台，小应用”信息化格局，让应用更关注业务，实现数据增值、应用增效、业务赋能、技术降本。平台拥有自动智能、安全可靠、使用简单三大特色。

如何高效实现主数据归一化？_光点科技

相关文章