关于数据中台方法论,那些不得不提的那些事儿(二)

2022-04-25 13:50:30
光点科技

上一篇聊了一些关于业务中台的方法论,今天我们来继续说说建设数据中台方法论。


首先我们再明确一下数据中台的含义:


Gartner 认为:“数据中台是一种组织战略,使组织能够有效地使用后端生成的数据,使前端用户做出统一的可视化决策。


个人认为,数据中台可以定义为“提供公共数据服务的组织”,它的职责主要是为整个组织提供标准化、高质量、高效率、低成本、高安全的公共数据服务。


数据中台跟数据仓库、数据中心、数据湖的区别



数据中台 VS 数据仓库

数据仓库是在数据准备之后用于永久性存储数据的数据库。数据中台要求实时性,但数据仓库对实时性没有要求。


数据中台 VS 数据中心

数据中心是由计算机场站(机房)、机房基础设施、信息系统硬件(物理和虚拟资源)、信息系统软件、信息资源(数据)和人员以及相应的规章制度组成的组织。二者一个很大的区别,数据中台是一个企业的全局部门,而数据中心更多的是一个职能部门。


数据中台 VS 数据湖

数据湖(data Lake),是指使用大型二进制对象或文件这样的自然格式储存数据的系统。二者最大的区别在于,数据中台是全部数据存储、治理、连接、共享等,但数据湖仅仅是个存储系统。


数据中台的方法论



实际上数据中台是对已有一系列数据分析、治理相关技术和最佳实践的综合和发展,不是一个全新的概念和全新的技术。因为有良好的理论基础,加之行业头部企业和服务商的共同努力,现在已经有了比较成熟一致的方法和工具支持。


数据中台建设方法的核心内容包括方法论和技术两个维度。方法论维度主要是分析框架及指标体系、数据仓库、数据治理和数据网关,技术维度主要是数据开发和数据湖。


A. 分析框架和指标体系

指标体系是数据中台的牛鼻子,是数据中台提供的服务的主体。虽然数据仓库维度建模中的度量和指标很像,但我认为指标体系应该是一套独立的方法论,通过业务流程分析并经由原子指标、派生指标、修饰词等形成规范的指标建设和管理方法,是数据中台方法论超出传统数据仓库的创新之举。


车品觉老师在《决战大数据》一书中曾多次强调分析框架的重要性,认为分析框架是“数据产品的养分”,是“数据收集的瞄准镜”。


分析框架反应了核心的业务逻辑,如营销侧的AIPL、RFM等框架,如果不能深入的理解和灵活运用这些核心的分析框架,就不容易把数据中台规划建设好。因此,在业务流程分析法之外,分析框架的指导也应该作为指标体系建设的重要方法。



B. 数据仓库

数据仓库为数据中台建设提供了最主要的方法论基础。数据仓库领域有两套截然不同的基本方法,一个是数据仓库之父Bill Inmon所倡导的至上而下的方法,另一个是Kimball所倡导的至下而上的方法。从这两年的业界实践来看,维度建模方法基本上讲已经大获全胜,因为这个方法可以一个业务过程一个业务过程的实施,不需要顶层设计,这也顺应了现在的分布式中台趋势。


C. 数据治理

数据治理为数据中台提供了核心保障。这里说的数据治理是包括元数据管理、主数据管理、数据标准、数据质量管理、数据资产管理、数据安全等系列方法的统称。

这些方法中,元数据是数据中台提供服务的一部分,主数据管理和数据标准和


数据中台OneID的概念比较接近,同时也为数据仓库的维度建模提供了规范的维度数据,数据质量管理、数据资产管理、数据安全等则分别用于提升数据中台的质量、成本经济性和安全性。



D. 数据网关

数据网关在落地时一般称为数据服务,但从思想和方法论层面,是一种网关。网关作为一种企业架构模式的流行,使得数据中台拥有一个清晰的服务形式和界面,这一点在经典数据仓库实践中是没有的,也属于数据中台相对数据仓库的创新。在网关层面,可以实现协议转换、语法标准化、逻辑模型与物理模型解耦及众多安全性和服务治理职能。


阿里的数据中台建设方法论是OneData,包括OneID、OneModel和OneService,汪源老师介绍的方法论和阿里的那套在本质上是一致的,是对阿里方法论的细化和扩展。数据治理包含了OneID,指标体系和数仓对应OneModel、数据网关对应OneService。


有方法论还不够,还需要一整套解决方案


为了解决传统信息化手段不能解决的问题,包括数据不可知(不知道有多少、在哪里)、数据拿不到不可用(不真、不准、不完整、不及时)、看不懂(没有统一标准,难以解读)、数据用不好等问题。



光点科技提出了一整套数据中台解决方案,将海量、分散、异构的数据汇聚到中台,统一存储,统一口径,再通过大数据和机器学习等技术进行价值提炼,进而形成数据资产,同时又能为客户提供决策支持,赋能前端业务,推动政企数字化转型和高质量发展。


光点将十多年的中台建设实践经验,总结成了「四个一」,既一套方法、一系列标准、一站式工具、一组服务。


具体来说就是,为了保障客户的数据中台能够成功落地,光点会利用多年中台实践经验总结的一套中台建设的方法论,来指导协助目标客户梳理并开展一系列数据标准建设,同时又利用自研的一站式数据治理服务工具,为目标客户提供一组专业的数据治理服务。


参考文献1  《细品中台》  冷技术热思考 风轻扬

上一篇:光点科技许可:做“数据中台”要耐得住寂寞,技术和实施经验才是根本

下一篇:光点科技荣获政务数据中台解决方案奖

关于我们
公司简介
价值观
公司历程
管理团队
人才构成
资质和荣誉
联系我们
咨询热线:020-83342506
地址:广州市越秀区寺右一马路18号泰恒大厦1609室
光点科技服务号
© 2011-2022 广州光点信息科技股份有限公司  |   粤公网安备 44010402002721号  |  粤ICP备12043917号