近日,人工智能学院2024级硕士研究生钟艺在李杰老师指导下,研究成果“HRLBF: Hierarchical Reinforcement Learning Based Framework for Thermal-Aware VM Scheduling in Sustainable Cloud Data Centers”被IEEE Transactions on Computers(TC)期刊录用。IEEE-TC是中国计算机学会(CCF)推荐A类国际学术期刊,该刊创办于1952年,是计算机领域历史最悠久的期刊之一,自1969年起成为IEEE计算机学会的旗舰期刊。期刊每年发表论文约200篇,投稿录用低于10%。学校认定该期刊为顶尖B层次。该研究成果的参与作者分别包括暨南大学邓玉辉教授,华南师范大学余松森教授、研究生唐宇,曾碧卿教授(共同通讯),英国埃克塞特大学Geyong Min教授。
该研究成果聚焦于可持续云数据中心绿色能源供应及能效优化。生成式人工智能与大模型应用的发展引起云数据中心的算力需求与能源消耗持续增长。太阳能、风能等绿色能源的接入为数据中心能源提供了新的途径,这有效降低了数据中心对传统电网供能的依赖。因此,本文的研究目标是如何在保障任务服务质量和设备温度安全的同时,协调计算负载、制冷需求与绿色能源供给。传统的研究方案采用“先预测、后调度”的控制链路,这会导致额外的预测环节带来计算开销与响应延迟,预测误差存在向后续决策传播与累积的风险。此外,GPU负载、机架热状态与空调能耗相互耦合,引起太阳能供给的波动,从而增加了能源管理难度。另外,异构GPU环境要求调度策略同时理解机架内热耦合、任务与节点资源的匹配关系,并协调离散迁移与连续温控动作,避免过于频繁的操作。
针对这些问题,本研究方法提出以分层近端策略优化(H-PPO)为决策核心的轻量化分层强化学习框架。H-PPO将“何时启用控制”与“如何执行控制”分层建模。高层以较长周期更新调度和温控门控,低层仅在对应门控开启时执行离散的迁移选择或连续的空调调节。该框架以GPU与制冷系统的当前状态为策略输入,直接生成虚拟机调度与温控动作。同时,该框架保留Bi-LSTM用于绿色能源供给预测,以协调计算、制冷与绿色能源利用。实验结果证明了本研究方法可明显提升可持续云数据中心能效与绿色能源的利用效率,同时保证了任务服务质量与设备安全。该研究成果为未来的可持续计算设备或GPU型异构设备提供新的节能思路。