新闻资讯

了解金山云最新资讯

新闻资讯 > 金山云发布在离线混部解决方案Colo
金山云发布在离线混部解决方案Colo

2023-09-15 00:00:00

根据Gartner数据统计,2023年全球IT支出预计将达到4.7万亿美元,比2022年增长4.3%。然而,该机构另一项调查数据显示,全球数据中心服务器CPU利用率只有6%~12%。如何提升服务器资源利用率,降低IT基础设施的总拥有成本(TCO),从而实现降本增效,成为企业发展过程中的重要议题。


在此背景下,金山云推出在离线混部解决方案Colocation(以下简称“Colo”),该方案在知乎已完成大规模集群验证,集群资源利用率得到有效提升。通过在隔离类型上采用共享物理机内核、部署底座上采用容器部署、调度决策上采用动态决策,Colo具备6大功能特色,包括调度、重调度、资源隔离与限制、资源冲突检测与处理、可观测性以及节点实际负载查询API等。


Colo的系统架构


从系统架构层面看,在离线混部解决方案Colo主要分为5个层级,主要包括基础组件、资源管理和调度、节点管控、存储管理以及系统隔离。其中值得一提的是,Colo在资源调度侧增强了调度器相应的扩展能力,将调度器扩展为Colo-Manager、Colo-Scheuler、Colo-Descheuler,并在节点管控侧提供了cololet组件(如下图)。

在该方案中,Colo-Manager负责node节点cololet agent配置同步,例如BE任务内存&CPU分配比例、开启某项资源压制开关等,以及Node resource计算工作。


Colo-Scheuler负责在线和离线应用调度,扩展负载均衡调度(包含CPU、Memory、CPI干扰)、重调度预调度(重调度驱逐时的安全策略)、ColocationFit插件。


Colo-Descheuler是一款重调度器,可扩展负载均衡调度插件。主要应用于实时运行过程中,二次调度pod,扩展高级防护策略,按照Node、Namespace、Workload进行保护。


Cololet是节点级调度器,主要负责Pod的QoS保障。提供细粒度的资源使用指标、内核指标等监控指标的采集,实际负载数据的采集与保存,CPU、内存、BlkIO、Network等资源的冲突检测与动态调整,以及干扰探测等功能。


Colo的六大工作原理


01 Colo-scheduler调度器


Colo-scheduler是基于社区scheduler framework框架开发的调度器,能够扩展感知离线资源可用量与在离线业务均衡分布的能力。根据Node节点实际负载指标计算得分并进行排序,为各个资源设置不同的权重值,实际剩余资源越多则得分越高,使得Pod在集群节点之间按照实际负载均衡分布。


其离线可用资源计算公式为:

离线可用资源 = 节点总可用资源 - 节点预留资源 - 系统已使用资源 - 在线任务实际使用资源

Node(BE).Alloc = Node.Total - Node.Reserved - System.Used - Pod(LS).Used


02 Descheduler重调度器


重调度器定期检测集群状态,对不符合预期的情况进行动态调整,使集群始终处于健康状态。例如:当Node节点上Pod数量超过阈值或当某个Namespace中的Pod数量超过阈值时,均会触发Pod迁移;将Pod从实际利用率过高的节点迁移到利用率不足的节点;驱逐违反node affinity的Pod。


03 资源隔离


对CPU、Memory、blkio、网络带宽等资源维度进行隔离。


04 冲突检测和处理

  • 对周期性离线任务CPU,控制内存资源上限;
  • 对周期性在线服务CPU,保证内存资源;
  • 在资源争抢清空下,驱逐离线任务;
  • 周期性释放离线任务内存/缓存;
  • 周期性对在线任务带宽进行检测与保证

05 eBPF内核监控指标采集


使用ebpf的方式采集以下5种内核监控指标,包括:


  • cpu-runq-latency-public(从任务在运行队列中排队到上下文切换和执行的时间)
  • ipcstat(统计cpu时间片上执行的指令数)
  • cache-miss
  • llc-cache
  • memory-alloc-latency(内存分配延迟)


06 NUMA调度


NUMA(非一致性内存访问)调度通过CPU分配策略与内存分配策略,最大化保证业务进程CPU访问内存的性能。


Colo资源分配与调度策略



Priority(调度优先级)


Colo将Priority(调度优先级)分为colo-prod/colo-mid/colo-batchBatch/colo-free四个等级,优先级依次递减,Pod Yaml中指定申请的资源优先级,colo-scheduler会基于总量和分配量做调度。具体如下:


QoS(服务质量)


Colo将 QoS(服务质量)整体分为 System(系统级服务)、Latency Sensitive(延迟敏感性的在线服务)及Best Effort(资源消耗型的离线任务)三类,根据应用性能敏感程度的差异,Latency Sensitive 又细分为 LSE、LSR 和 LS。具体如下:

Priority与QoS关系描述


在 Priority 和 QoS 的使用上,二者整体是正交的两个维度,可以排列组合使用。不过受模型定义和实际的需求情况影响,部分排列组合存在约束。因此,建议的组合方式如下:

Colo使用场景及使用方式


在使用Colo调度系统进行在离线业务混部时,根据不同业务场景可通过配置Priority与QoS的关键字段colo.sh/qosClass与priorityClassName字段进行匹配部署。


典型场景:


  • colo-prod & LS:适用于典型的在线服务,通常对应用的延迟、资源质量要求较高,运行时间较长,还需要保证一定的资源弹性能力。
  • colo-batch & BE:适用于混部场景中的低优离线任务,通常表现为对资源质量有相当的忍耐度,对延迟不敏感,运行时间相对较短,例如批处理类型的Spark/MR任务、人工智能训练任务等。


典型场景的增强:

  • colo-prod & LSR/LSE:适用于比较敏感的在线服务,可以接受牺牲资源弹性而换取更好的确定性(如CPU邦核),对应用时延要求极高。
  • colo-mid/colo-free & BE:Colo-mid&BE适用于对资源要求较高的离线任务,例如流式计算、近线计算等场景;colo-free&BE更适用于更低优先级的离线任务,例如研发人员的测试场景。



Colo的落地实践



目前,金山云与知乎联合共建的Colo方案已在知乎完成了大规模部署,实现了大部分核心业务的落地,助力其混部集群利用率均值显著提升。



Colo的三大产品优势


在落地实践中,Colo展现出以下三个产品优势:


01 显著提升资源利用率


在保证服务稳定性的基础上有效利用资源,集群平均利用率显著提升。


02 兼顾灵活调度与服务稳定

通过可观测性体系、动态决策、资源隔离、资源冲突检测与处理、调度等控制手段,充分保证混部服务稳定性。


03 丰富的策略支持

弥补原项目资源预测、blkio/网络带宽限制、冲突检测能力、内存回收上的不足,额外支持eBPF内核指标采集、numa调度、节点实际负载查询API等功能。


未来,混合部署将随着技术的发展而逐渐丰富,而金山云还将在提升资源利用率的宗旨下,基于容器调度场景,对Colo的功能特性持续进行优化和升级。