Kingsoft Cloud DataGather

数据采集

金山云智•数据采集是大数据云平台内外部数据传输的桥梁,可以将云外数据安全有序的接入到大数据云平台内部。采集模块支持对文件、文件夹、外部kafka、自定义source等进行采集,将分散在各地的数据方便快捷的采集到大数据云平台,同时可通过流计算组件进行实时消费处理。
核心优势
产品功能

核心优势

统一采集管理

支持多种采集任务统一管理,采集配置一件修改,采集agent实时监控,采集任务一键暂停与恢复。

采集方式多样

支持文本文件数据流式采集,支持Oracle/MySQL等关系型数据库流式采集,支持http方式的数据采集。

保证数据质量

采集数据自动重发机制,支持数据查重,支持数据格式校验,支持采集数据分布式存储。

数据投递

支持将采集到的数据直接投递到ES中。

产品功能

统一采集管理

支持针对不同类型的采集任务,通过统一的方式来进行管理;提供数据采集任务的创建,查询,采集任务的启动与停止等功能的服务,包括:创建数据采集任务、查询采集任务状态、采集任务启动与停止、采集状态上报等功能。

流式数据采集

流式采集任务支持将文件、外部Kafka、文件夹、自定义source、oracle数据库、MySQL数据库等数据,实时采集至大数据云平台的Kafka中。

流式投递

支持将数据实时采集到kafka,并可实时投递到ES等数据库中。