大数据数据中台部署该如何做?

2023-03-20 11:03:24
光点科技
数据中台

很多公司的业务,尤其是企业发展到一定规模之后,都会面临一个问题,数据中台应该做什么?如果从商业的角度来说,可能我们可以简单地把数据中台分成两类:业务驱动的和战略投资的。业务驱动的数据中台就是我们现在常见的“一大四小”——大数据平台、数据中台、算法引擎、数据产品和开发工具。



而我们今天要讨论的是企业做数据中台到底该怎么做?先说结论:如果企业规模足够大,可以考虑建立一个中台,如果是中小型企业或者是创业型公司可以先考虑做一个小型的数据中台集群或者选择用一些开源组件进行开源构建。但是这并不意味着大数据就是你说啥就是啥了,你得想清楚在这个项目里你要解决什么问题,如果需要快速构建一套基础设施系统或者工具需要投入多少人力物力?如果有能力的话,我们也可以在这个中台上构建自己公司现有的IT架构或者搭建新产品。


一、项目背景

这是一个大型企业的大数据中台项目,该项目采用的技术架构是Apache Hadoop2.0,主要实现了从数据清洗到数据计算、存储、关联等一系列任务;在此基础上我们采用了大量的开源组件和工具,来实现整个系统中的数据采集和计算。本项目由多个独立节点组成,目前已经运行了1年多,但是从目前的技术来看仍然存在很多问题:数据量:该项目主要为企业内部提供数据服务,并无对外输出的能力。系统稳定性:系统运行一段时间后会出现一定程度波动的情况。


二、部署规划

对于大多数的中小型企业来说,中台的建立是非常困难的。因为在整个过程中,企业需要大量精力去搭建一个中台集群,以及要构建一套新的基础设施系统。当然,这些都是建立在之前你已经构建了一个较为完整的IT架构基础上。另外,很多公司也会考虑采用多台服务器集群的方式来解决大规模数据存储问题。

这个时候就要注意,你的目标是建设一个大规模部署型数据库还是小型集群呢?(注意:我们在部署过程中需要特别关注的就是两个点:一个是要避免过多过长地引入过多过长时间内对系统性能产生影响的新设备;另一个点就是要防止过长时间地进行大量修改之后导致系统崩溃,影响数据使用。)


三、部署难点(需要考虑的因素)

根据我们的经验,企业做数据中台最难的就是在数据平台与应用之间建立一套高可用的安全机制。因为很多系统可能都部署在不同地区,不同的机房,甚至还有云上资源池。如果出现单点故障,那整个系统就会出现瘫痪。所以你需要考虑很多东西,比如我们要部署一个服务器和一个数据库,你得有多个服务器来进行存储和计算(包括集群计算);我们还要考虑在应用之间如何进行安全隔离控制和隔离机制;我们还要考虑要部署在多个云平台上的问题。所以如果有条件的话,最好把数据库放在离用户近的地方。


更多数据治理相关资料请咨询客服获取,或者直接拨打电话:020-83342506


上一篇:数据中台建立的误区有哪些?

下一篇:数据中台数据集成之NiFi

关于我们
公司简介
价值观
公司历程
管理团队
人才构成
资质和荣誉
联系我们
咨询热线:020-83342506
地址:广州市越秀区寺右一马路18号泰恒大厦1609室
光点科技服务号
© 2011-2022 广州光点信息科技股份有限公司  |   粤公网安备 44010402002721号  |  粤ICP备12043917号