铃阅时讯
❌

普通视图

打破资源竖井:有赞在离线混部的实践

2025年7月18日 17:02

原创 有赞技术中台 2025-07-18 17:02 浙江

背景随着有赞业务的高速发展,业务对计算资源的需求日益增长,成本管控和资源供给面临着较大的压力。通过在离线混部,在保证业务稳定的情况下,大幅提高资源使用效率。

点击关注“有赞coder”

获取更多技术干货哦~

背景

随着有赞业务的高速发展,业务对计算资源的需求日益增长,成本管控和资源供给面临着较大的压力。与此同时,集群的整体资源使用率一直保持在比较低的水平,有很明显的提升空间。

造成这一现象的主要原因有以下几点:

  • 在线业务主要业务集中在国内,集中在白天。在线服务部分,资源使用量呈现稳定的潮汐现象,夜间 CPU 利用率极低,从而导致整个集群的均值 CPU 利用率降低。

  • 离线业务集中在晚上。离线业务0点开始计算商家经营报表,上午完成绝大多数任务,导致夜间 CPU 利用率高,白天基本闲置。

  • 突发流量毛刺采用硬扛的方式。为了这些突发流量,往往需要预备更多的资源,以避免突发流量使系统满载而影响业务可用性,继而进一步降低了CPU使用率。

  • 在线集群静态调度策略导致节点水位不均。通过超卖方式提升CPU 利用率会因为部分热点节点而触发短板效应,集群整体CPU 利用率无法继续提高。

在线业务一天的Cpu使用整体情况
在线业务一天的Cpu使用整体情况
离线用整体情况
离线用整体情况

随着云原生化的逐步推进,K8s 社区相继涌现出多个与混部相关的开源项目。在此背景之下,容器资源的管理模式由“静态超卖”的方式,转变为“负载均衡调度 + 在离线混部”的方式。为了更为深入地优化资源使用状况,最大程度地优化成本,运维开发团队自 2022 年起尝试落地混部技术,以提升集群 CPU 利用率。截至目前,混部集群 CPU 利用率的均值可达 40%左右。

方案设计

基于Koordinator + 龙蜥Linux内核混部架构图:混部架构

调度层面:

  1. 负载均衡调度,确保新的Pod调度到空闲节点。

  2. 重调度,随着时间变化,业务流量变化,持续保证集群节点水位均匀。

  3. 大数据任务调度Spark thriftserver 主动感知离线资源数量,避免超量使用。

Qos保障:

  1. 划分资源池,在线LS级别,离线BE级别。

  2. 在线定时伸缩容,离线定时驱逐控制器(主动让出资源)。

  3. 离线Cpu满意度驱逐,保障离线任务质量,内存压力驱逐(被动保护让出资源)。

  4. Cpu抑制,Cpu burst 保障在线服务质量。

  5. 容器内存异步回收,以及回收保护水线。

集群资源保障:

  1. 基于负载的集群节点伸缩容。

  2. 龙蜥内核节点内存异步回收特性。

策略演进

大数据和在线业务的混部经历了多个阶段的技术演进,主要是节点分时复用、负载均衡调度、常态混部。

节点分时复用

A集群通过VK挂载B集群节点,通过控制B集群节点以及A集群VK节点调度状态,控制调度策略。

节点分时复用
节点分时复用

通过定时驱逐共享节点上的Pod,以及调整共享节点的调度标签,复用部分节点,一定程度上可以在离线的资源利用率。

负载均衡调度

基于Koordinator负载感知调度的能力,以及内部对应用精确的资源画像,将在线集群由静态调度转变为基于水位负载的动态调度,在线集群的平均cpu水位由10%提升到25%左右。

调度

使用Koordinator负载感知调度与重调度能力,将集群由静态调度转向基于节点真实水位的调度。与Kubernetes原生调度策略不同的是,原生调度器主要基于资源的分配情况进行调度,而该调度器可以感知节点实际的资源负载情况。通过参考节点负载的历史统计并对新调度Pod进行预估,调度器会将Pod优先调度到负载较低的节点,实现节点负载均衡的目标,集群节点水位更加均匀,避免集群水位提升过程中”短板“节点。

重调度

Kubernetes调度器会根据当前的集群状态决定如何将一个Pod调度到合适的节点上。但集群的状态会不断变化,出于资源水位的原因,可能需要将运行中的Pod移动到其他节点,例如:

  • 集群的工作负载分布不均,造成某些节点过载,影响这些热点节点上的工作负载性能。

  • 集群的总体资源利用率较低,期望下线部分节点以节约成本。这些节点上的Pod需要重新调度到其他节点上。

  • 集群存在大量资源碎片,导致集群资源总量充足,但单节点上资源不足。此时一些较大规格的Pod无法调度,增加了集群资源成本。

业务应用画像

在负载均衡调度和重调度之后,集群节点间水位差有了明显改善。在业务负载爬坡时,由于应用的核心程度不一样,拥有较多核心应用的节点负载变高,会出现热点节点,这个时候需要重调度组件介入,把 Pod 重新调度到其他节点上,重调度的效率有限,甚至来不及重调度节点Cpu负载超高甚至内存OOM。

通过应用画像的方式,找出业务高峰时负载较高的应用,在调度过程中提前打散,均匀分散在节点上,前置解决或者减少热点节点问题。

业务应用画像
业务应用画像

常态混部

为了降低资源碎片率和业务资源持有成本,将业务从独占的kubernetes集群合并到一个大的混部kubernetes集群。

常态混部
常态混部

离线感知离线资源池

大数据任务调度程序改造,支持动态感知Koordinator BE资源池,控制创建离线Pod规模。

离线感知离线资源池
离线感知离线资源池

驱逐

为控制在离线在不同时间段资源规模以及集群的整体水位,通过主动驱逐和被动驱逐的方式保证在不同业务高峰期资源得到满足,服务质量得到保障。

驱逐
驱逐
主动驱逐
  • 在线业务定时伸缩容 由于在线业务应用主要是Java类型应用,在流量低峰期时,虽然Cpu利用率降低,但是内存仍然被大量占用,因此根据业务的资源使用画像,定时伸缩容在线应用,流量低峰期释放内存资源。

  • 离线业务定时伸缩容 通过离线定时驱逐控制器,主动驱逐空负载离线Pod(尽量避免任务重试),出让资源给在线业务。

被动驱逐

在极端场景下,如整机内存使用率较高、有触发 OOM 风险,或者离线业务 CPU 长期得不到满足时,可以采取离线驱逐策略。单机侧支持按照离线服务内部定义的优先级配置、资源用量和运行时长等多维度综合算分排序后,按序驱逐离线服务,以达到最优的资源利用效果。

  • 离线Cpu满意度驱逐:让离线业务尽快重新调度到资源充足节点上去。

  • 内存压力驱逐:保护节点避免OOM风险。

效果

截止目前,有赞混部能力覆盖主要业务集群,核心业务的在线、离线场景服务的资源调度。通过大规模容器混部的落地,在资源成本效能等方面都取得了显著收益,具体包含以下三方面:

  • CPU 利用率:在保证在线服务服务质量的前提下,在线混部集群天均 CPU 利用率提升至 40% 以上。

  • 资源成本:在保证离线业务稳定性的前提下,混部集群的落地相较于之前成本下降20%左右。

  • 活动成本降低:在购物节活动或者大客活动时,在线临时使用离线资源,避免扩容带来的额外成本。

阅读原文

跳转微信打开

❌