关于我们

金山云对象存储数据湖存储服务能力再升

来源:金山云微信公众号 2023-09-14 00:00:00

据IDC数据统计,2022年中国大数据市场总体IT投资规模约170亿美元,并在2026年增至364.9亿美元,实现规模翻倍,与全球总规模相比,中国市场在五年预测期内占比持续增高。湖仓一体作为核心数据管理架构,将对企业的海量多模数据管理和价值挖掘产生重要影响。


在数字化转型加速的当下,数据已成为企业最核心的资产之一,因为它既是高效生产的基础,又是经营决策的重要依据。在此背景下,金山云基于自身在存储方面十多年的积淀,升级了对象存储KS3-HDFS数据湖存储服务。KS3-HDFS服务是一款基于对象存储的数据湖访问加速产品,兼容HDFS协议,能够提供统一元数据管理能力,主要面向大数据生态等高吞吐、低延时计算分析场景,提供存储加速服务,解决用户在大数据场景下的本地存储成本过高、资源耦合、弹性不足等痛点。


除原有的S3协议外,KS3-HDFS数据湖存储还支持HDFS协议。这样一来,用户无需对现有的大数据分析应用做任何修改,即可像在原生HDFS中那样管理和访问数据。在支持常见目录语义的基础上,KS3-HDFS数据湖存储还优化了常见读操作List、Head,使得访问带宽全面提速,单链接可达100MB/s。


基于KS3自身弹性,金山云HDFS数据湖存储服务还解决了HDFS弹性不足、成本高和资源利用率低这3大问题,能够实现计算资源和弹性资源分别扩容,在极大降低存储成本的同时,提升资源利用率。更重要的是,KS3-HDFS数据湖存储服务通过Bucket配置,即开即用,以SDK的形式进行服务端访问,可自动扩展、冗余备份,可保证服务的可持续和数据安全。


在数据湖构建场景下,开放的数据湖需要对接各种计算引擎,且会面临计算资源与存储资源扩容速度不匹配、存储系统需对接多数据源的问题,而借助KS3-HDFS,便可支持多数据源、多计算引擎能力,进而实现计算存储分离,保证计算业务的访问性能。


面向离线分析场景,KS3-HDFS服务原生支持文件、目录语义和操作,支持目录原子性、毫秒级rename操作,适用于开源Hive、Spark离线数仓。


在交互查询分析场景下,通过数据、元数据加速等加速能力,实现不低于本地HDFS的性能,满足Presto/Trino等交互分析场景低延迟高吞吐要求。


金山云对象存储KS3-HDFS数据湖存储服务是基于对客户业务场景的深入洞察而推出的,能够满足用户提升资源利用率这一需求,助力企业进一步降本增效。


截至目前,金山云已经具备丰富和完善的存储产品矩阵,包括对象存储、归档存储、块存储、文件存储等,可针对不同业务场景,提供高可靠、低成本、安全的存储服务。公司也将基于自身的深厚积累,持续为客户提供更全能、性价比更高的存储服务,助力垂直行业释放数据价值。

以上就是金山云为您带来的金山云对象存储数据湖存储服务能力再升的全部内容,如果还想了解更多内容可访问金山云官网www.ksyun.com了解其它资讯。

金山云,开启您的云计算之旅

免费注册