为什么数据中台需要具备数据汇聚整合?

2022-12-20 10:31:19
光点科技
数据中台

“中台”概念在近年已经越来越受到关注,不少企业都推出了数据中台产品,例如阿里的“数仓”、腾讯的“DataShare”,华为的“数据湖”、美的的 FIT和海尔的“慧海”。 这些项目在实现数据汇聚整合时都有一个共同特点:通过搭建基础设施来完成。基础设施可分为业务和技术两个层面: 业务层面:



1、数据仓库

数据仓库是数据管理的核心,是一个基于分布式关系型数据库的庞大且高效的管理平台。 数据库是由各种存储设备和数据文件组成,可以根据不同应用而采用不同形式。 例如: 关系型数据库:如 MySQL、 Oracle等; 非关系型数据:如 SQL语言等。 其中关系型数据库用于存储各类关系和结构化的信息,这些信息都是在一个巨大且高效、可靠的分布式体系中存储并可以对其进行扩展。 所以说一套好的大型复杂数据库系统,既能满足大规模、高并发查询和处理能力和性能要求,又能在低成本基础上满足对性能要求较高或复杂度要求较高等不同业务场景需要,而不是一套通用型的产品。


2、数据湖

数据湖是数据资源的抽象,能够为业务提供存储、计算以及数据管理服务。 数据湖中主要包括三个层次: 上层:基础层,负责对业务相关场景中的各种元数据进行存储,实现跨场景的统一管理。 中间层:基础层上支撑数据仓库和数据湖的服务能力,主要包括计算引擎和存储引擎。其中存储引擎是整个中台服务的关键。 下层:中间层之上就是对上层服务进行支撑了,通常是通过一些中间产品来实现,例如 Hadoop集群、 HBase集群、 Spark集群等等。


3、微服务系统

每个服务都有自己独立的数据库,可以单独运行,也可以通过集群运行。 随着系统规模变大、业务复杂度增加和系统功能增多,传统的开发模式难以适应系统复杂与服务众多这两个特点,于是开始出现一种全新的技术——微服务技术。 微服务是一个分布式架构,它通过为一个或多个微服务提供完整、安全、可扩展的基础设施而在整个平台上实现业务系统。 微服务由多个独立运行且可相互协作与交互的分布式应用程序组成,每个应用程序具有独立的基础设施和运行时环境。 微服务可以分为两种类型:服务化与容器化。 微服务主要采用 JavaScript来实现,使用 Javascript是为了提高开发效率,降低开发难度和成本。 容器化采用 Java语言开发的系统组件(React、 Node、 Mesos等),可以在服务器上运行,是一种可扩展特性。


更多数据治理相关资料请咨询客服获取,或者直接拨打电话:020-83342506


上一篇:校园数据中台可以做什么?有什么优势?

下一篇:数据中台建设内容包括哪几个方面?

关于我们
公司简介
价值观
公司历程
管理团队
人才构成
资质和荣誉
联系我们
咨询热线:020-83342506
地址:广州市越秀区寺右一马路18号泰恒大厦1609室
光点科技服务号
© 2011-2022 广州光点信息科技股份有限公司  |   粤公网安备 44010402002721号  |  粤ICP备12043917号