浅谈数仓的数据治理

2023-02-02 13:53:22
光点科技
数据治理

据能被有效利用并可持续发展的过程。 随着数字经济的不断发展以及业务的快速变化,企业对于数据仓库平台架构和数据治理水平的要求越来越高,数仓的系统建设不能只考虑技术层面,还要对数仓平台进行体系化的设计规划以及运营维护。 


对于数仓而言:一是要解决数据资产安全、完整问题;二是要解决数据资产可持续发展问题;三是要解决应用系统与数仓系统之间可持续发展问题。 在本文中,笔者将针对业务流程、技术实现等方面分别从架构设计、技术实现和业务流程三个层面对“数仓基础设施”及“数仓元数据”进行详细分析和说明。 另外笔者也会对本文进行深度分析和解读。 随着信息产业的发展以及数字化进程加速推进,企业数据治理水平受到越来越多企业的重视。本文将从企业数字化过程中存在的问题入手,结合笔者在客户中开展业务活动中遇到的实际案例来探讨数仓系统建设所面临的问题及相应解决方案。 


通过前面文章对“数仓基础设施”及“数仓元数据”相关知识的介绍,我们知道了“数仓基础设施”包括平台层、业务流程层和业务场景层四个层次; 通过本文对“数仓元数据”有关知识和概念解析,我们可以发现:数仓基础设施主要包含五个方面: 平台层)主要包含业务逻辑层(包括数据层、方法层和服务层)以及基础设施运行环境(包括存储服务器、数据库服务和管理服务等);应用层面(包括企业业务场景中所涉及到的应用流程、系统平台以及应用软件等);数据管理和服务层面指数仓系统运行所涉及到的数据标准以及规范等。


1.数仓架构

在文章中,笔者将对数仓架构设计和建设做详细介绍和说明。 从结构上来看,数据仓库架构由四层组成:基础数据层、数据存储及计算分析层、应用处理与展现层、结果分析与展现层。 从内容上来看,数仓架构主要包括数据治理、数据标准规范、数据产品服务这三大块。 在其中,我们会发现:随着企业的业务发展,数仓系统也需要从架构设计上进行升级,从而满足企业的可持续发展要求。 具体来说:数仓架构主要包含基础类、模型类和应用类三大部分。


2.数据源/数据仓库与数据集市

数据源/数据仓库与数据集市是将企业内部产生的、分散在各业务系统、组织结构、业务流程以及不同物理位置和不同工作负载中的数据集合起来,并按统一格式进行处理,提供给应用系统使用。 在前面两篇文章中我们了解到:数仓基础设施与业务应用之间存在着密切联系。 一方面要保证数仓平台能够很好地服务于应用系统;另一方面要保证数仓平台能够很好地服务于业务应用,同时要保证数仓基础设施能够更好地为应用提供支撑。


3.元数据及数据库

一个系统要想高效的运营,离不开良好的基础设施支撑,包括数据标准、应用标准以及流程标准。 对于系统中不同类型的业务,其数据是不同的,而数据标准、流程标准化是统一数据仓库模型、构建数据共享池及大数据治理过程中必不可少的一部分。 对于一个数仓项目而言,除了要有元数据之外还需要有数据库才可以实现系统运行与维护。 本文中笔者将主要介绍数仓项目在开发过程中所使用到的不同数据库和模型以及使用情况。


4.数仓运维监控中心

数仓运维监控中心是在系统运行过程中,为保障数据资产安全、完整与持续利用而提供服务的功能,它将数据仓库中所需要运行的应用程序、软件和服务等都包含在内了。 数仓运维监控中心主要是对数仓系统进行全生命周期的运维管理。 其中包括: ·应用管理:通过应用的编排与交付来实现对数仓系统中不同业务需求的支持,提供各种数据访问接口(API)、数据访问管理机制等,实现对其开发和运行环境的统一管理。 ·系统监控及告警:提供各种告警信息采集、处理和存储技术,通过系统监控界面进行告警信息采集和处理,实现对数仓系统运行环境的实时、高效监测控制。


更多数据治理相关资料请咨询客服获取,或者直接拨打电话:020-83342506


上一篇:探讨当前数据治理难题:性能、确权、共享、安全

下一篇:国企数据治理应如何构建数据治理体系?

关于我们
公司简介
价值观
公司历程
管理团队
人才构成
资质和荣誉
联系我们
咨询热线:020-83342506
地址:广州市越秀区寺右一马路18号泰恒大厦1609室
光点科技服务号
© 2011-2022 广州光点信息科技股份有限公司  |   粤公网安备 44010402002721号  |  粤ICP备12043917号