金山云 > 数据采集

数据采集 (KDG)

Kingsoft Cloud DataGather

金山云智•数据采集是大数据云平台内外部数据传输的桥梁,可以将云外数据安全有序的接入到大数据云平台内部。采集模块支持对文件、文件夹、外部kafka、自定义source等进行采集,将分散在各地的数据方便快捷的采集到大数据云平台,同时可通过流计算组件进行实时消费处理。

核心优势

  • 统一采集管理

    支持多种采集任务统一管理,采集配置一件修改,采集agent实时监控,采集任务一键暂停与恢复。

  • 采集方式多样

    支持文本文件数据流式采集,支持Oracle/MySQL等关系型数据库流式采集,支持http方式的数据采集。

  • 保证数据质量

    采集数据自动重发机制,支持数据查重,支持数据格式校验,支持采集数据分布式存储。

  • 数据投递

    支持将采集到的数据直接投递到ES中。

产品功能

  • 统一采集管理

    支持针对不同类型的采集任务,通过统一的方式来进行管理;提供数据采集任务的创建,查询,采集任务的启动与停止等功能的服务,包括:创建数据采集任务、查询采集任务状态、采集任务启动与停止、采集状态上报等功能。
  • 流式数据采集

    流式采集任务支持将文件、外部Kafka、文件夹、自定义source、oracle数据库、MySQL数据库等数据,实时采集至大数据云平台的Kafka中。
  • 流式投递

    支持将数据实时采集到kafka,并可实时投递到ES等数据库中。

金山云,开启您的云计算之旅

免费注册