数据中台数据采集过程中面临的几个问题?

2022-12-30 15:33:48
光点科技
数据中台

数据中台的基础是业务数据资产,如果我们在前端业务上没有进行相应的沉淀,则很难进行后续的数据应用。 那么,如何才能实现从数据中台到应用端的有效迁移呢? 这里有一个通用的原则,那就是在做任何事情之前都要进行风险评估。 首先,我们要考虑到一个问题:我们如何通过业务模型和技术手段来实现业务价值? 我们可以看到在实现中台之前,我们是用一个业务系统作为整个系统的基础平台。 而在实现中台之后,就需要通过不同的方式来进行数据采集。 通过对不同业务系统采集到的数据集进行分析处理之后,可以看到,这些数据是存在着很多差异性、多来源性、不确定等特点。



1.对于不同业务系统,需要从不同的渠道进行数据采集,而这些渠道有两种方式:

第一种:我们通常采用的就是从业务系统中直接获取数据,在这个过程中,可能会存在着一些不准确、不及时的情况。 [所以通常也会采用到采集数据之后去做相应的处理。 而第二种方式:如果你可以进行数据采集的话,那你可以用一种比较简单有效的方法,就是从现有系统中获取。 [例如:数据库中、或者是日志系统中等;] [因为他们都是相对稳定、可靠、有标准的。] 那么在这个过程中应该要考虑到这些因素,尤其需要注意在数据的来源上不要有太多不确定条件和不可控因素存在,否则会导致大量冗余数据被采集出去。 所以要根据具体分析和具体情况进行决策,从而决定采用哪种方法。


2.针对多来源,也就是我们在选择采集渠道时,可能会面临着以下几个问题:

a。不同业务系统采集的数据不一致,比如同一个业务体系的系统上采集了大量的交易类数据,而另外一个则是完全独立的。 b。多源采集导致各数据源之间无法进行直接关联查询,即不能实现数据的实时共享。 b。不同业务系统对同一条数据的描述可能会有很大差别,比如一个是产品、另外一个是用户。 ③不同渠道来源所产生的数据不一致:有些时候需要对不同渠道来源进行合并处理。 4.多源采集方式带来了很多问题,我们应该如何进行合理解决呢? 首先我们要确定好渠道来源,然后根据不同数据源带来的特性采取相应的处理方式:当我们采用多源采集时,就需要考虑到这几个问题:


3.如何避免这几个问题:

-数据来源分散,没有形成统一的规范; -多个系统采集结果,数据口径不一致; -无法进行有效的分析处理; -在采集的过程中,容易被其他系统影响或者干扰; -无法支持多种数据格式存储和分析能力; -需要通过复杂的计算,才能实现精准分析。 在数据中台建设过程中,数据采集过程中会面临各种各样的问题,我们需要结合自身业务特点,采取相应的方法来解决问题,从而更好地帮助我们实现数据应用。


更多数据治理相关资料请咨询客服获取,或者直接拨打电话:020-83342506


上一篇:数据中台建的好不好?看这4个能力

下一篇:为什么要搭建数据中台?数据中台建设必要性多大?

关于我们
公司简介
价值观
公司历程
管理团队
人才构成
资质和荣誉
联系我们
咨询热线:020-83342506
地址:广州市越秀区寺右一马路18号泰恒大厦1609室
光点科技服务号
© 2011-2022 广州光点信息科技股份有限公司  |   粤公网安备 44010402002721号  |  粤ICP备12043917号