如何高效采集分散异构数据?_光点科技

2020-10-26 15:01:43
光点科技
数据治理

政府企业内部数据源分散、异构,缺少高效的核心数据归集、整合与分类管理手段,阻碍了数据治理和开发利用。


传统解决方案是通过写代码采集各部门数据,但是门槛高、效率低、难维护,特别难以解决数据增量采集、实时采集的问题。


使用数据中台,能够有效解决上述问题,具体过程如下:

1、建立数据连接

一次建立数据连接能够随时抽取、更新数据源。

中台支持多种类型数据库连接,见下表:

数据库类型图


选择数据库,填写数据库信息进行数据连接。


数据连接图


2、在中台中建立数据建模?

中台支持4种建模方式:

1)表复制

一键复制一张或多张数据表到数据中台,可以同时将表结构和数据复制过来,主要用到把数据原封不动地抽到ODS层。


2)数据融合

用于在采集过程中需要对数据清洗加工,或者将多个数据汇总到一个或多个数据表的需求场景。

中台将去重、字段选择、合并记录、计算等常用数据处理能力做成通用组件,用户可直接拖拉拽组件设计数据处理流程。

融合流程图


3)文件导入数据

中台支持一键导入并自动建立数据表,同时支持数据追加导入。


4)SQL建模

用户可利用SQL灵活建立模型,可使用系统生成的SQL语句或自行创建SQL语句。


3、设置数据更新策略

中台支持对数据的采集时间和采集范围进行设置,范围包括增量、全量采集,时间包括实时、定时更新。

设置更新策略图


4、监控数据采集情况

系统提供监控面板,帮助用户监控数据采集情况,出现问题及时告警。

更新任务监控图


使用GI数据中台,完成零代码数据采集,自动更新数据、实时数据监控,达到门槛低、效率高、易维护效果,已经逐渐成为政府企业数据采集的主流方案。


光点科技的GI大数据中台融合新一代中台理念和技术打造,提供数据汇聚、数据融合、数据治理、数据服务和资产管理五大能力,帮助客户打造“大中台,小应用”信息化格局,让应用更关注业务,实现数据增值、应用增效、业务赋能、技术降本。平台拥有自动智能、安全可靠、使用简单三大特色。


上一篇:阿里“拆”中台是真的吗?_光点科技

下一篇:如何高效实现主数据归一化?_光点科技

关于我们
公司简介
价值观
公司历程
管理团队
人才构成
资质和荣誉
联系我们
咨询热线:020-83342506
地址:广州市越秀区寺右一马路18号泰恒大厦1609室
光点科技服务号
© 2011-2022 广州光点信息科技股份有限公司  |   粤公网安备 44010402002721号  |  粤ICP备12043917号