[01743691]云计算调度优化技术

①课题来源与背景：本成果来源于广州市科技计划项目产学研协同创新重大专项“云宏云计算管理平台的智能管理关键技术研发”（项目编号201604010040）。随着云计算的应用深入和市场发展,云计算的调度和管理优化技术研究越显重要。为此,我们围绕云计算的物理资源层、虚拟化层和应用层的资源与任务调度优化相关问题开展研究产生了本成果相关创新性技术。 ②技术原理及性能指标：本成果技术原理有：1)为了实现虚拟机更好地复用物理主机资源,提出的基于负载高峰特征的虚拟机放置算法,基于数学方法建模虚拟机的负载高峰特征和使用带权余弦相似度方法（高峰相似度）度量虚拟机负载的相似性,避免负载相关性高的虚拟机放置在一起,从而更好地复用物理主机资源和提高资源的利用率。2)对异构云环境下的虚拟机调度性能与能效双重优化问题,提出并定义了一个新的度量——峰值能效,然后根据虚拟机在物理服务器上的功耗模型推导出了物理机的最佳利用率,在此基础上,进一步提出了针对云服务中虚拟机的峰值能效感知的调度策略,使更多服务器处于“能效最佳”的负载状态下,从而来使得整个集群或云数据中心到达最佳能效状态。对异构云环境下的任务调度性能与能耗优化问题,提出了一种基于能效模型的能耗优化云任务调度算法,该算法的核心思想是在启发式Min-Min算法中引入能效模型,以任务能效高低作为资源分配依据。3)针对现有云计算资源调度和能耗仿真工具仅支持单一资源的调度和能耗仿真的问题,提出了支持多资源（CPU、内存、磁盘IO、带宽）调度能耗仿真方法及实现了相应仿真工具MultiRECloudSim。4)在容器云调度优化方面,提出了基于多目标优化的容器调度算法,该算法调度时不仅考虑了节点内存CPU资源使用情况,而且考虑了容器之间的相关性,更好地优化了容器云的资源分配;并提出一种面向大数据应用基于PSO改进的容器调度算法K-PSO,将PSO算法的惯性权重和学习因子由静态变为根据算法运行情况非线性动态调整并对粒子运行速度加入惩罚项,K-PSO算法收敛更快且性能更优。本成果的性能指标有：1)虚拟机管理技术指标：支持VMware、KVM、Xen和PowerVM等4种虚拟化技术统一管理;支持10000台以上虚拟机的管理;支持动态创建可信集群,集群规模支持1000台虚拟机;支持多家国产自主芯片服务器的调度和管理,包含飞腾、龙芯、海思、海光、兆芯等。2)在虚拟机联合放置方法方面,在真实云平台PlanetLab数据集上的实验结果表明,所提的基于负载高峰特征的虚拟机放置算法相对主流的算法能提高物理服务器的资源利用率10%左右。3)在能效感知云计算调度方法方面,提出最佳能效感知的虚拟机调度算法策略在略微提升集群性能的同时,能有效降低集群能耗,保证QoS且不触发大量VM迁移;提出的基于最佳能效的云任务调度算法,保证所有云任务QoS的情况下,相比Min-Min等算法平均节能7.5%以上。4)在云计算能耗仿真与调度优化方面,提出的多资源的云计算能耗仿真与调度优化方法,支持CPU、内存、磁盘IO、带宽等多资源调度的能耗仿真,并基于Cloudsim扩展实现多资源能耗仿真工具。5)在云计算容器资源调度优化方面,提出了性能更优的多目标优化容器调度算法和的面向大数据应用的PSO改进容器调度算法。 ③技术的创造性与先进性：1)提出基于负载高峰特征的虚拟机放置算法,基于数学方法建模虚拟机的负载高峰特征和使用带权余弦相似度方法（高峰相似度）度量虚拟机负载的相似性,避免负载相关性高的虚拟机放置在一起,相对主流的虚拟机放置算法能提高物理服务器的资源利用率10%左右;2)提出最佳能效感知的调度方法,方法应用在数据中心虚拟机调度上提升集群性能的同时,能有效降低集群能耗,保证QoS且不触发大量VM迁移;该方法应用在云任务调度方面可以降低任务执行的能耗7%以上;3)提出支持多资源（CPU、内存、磁盘IO、带宽）调度与能耗仿真方法,研发了支持多资源调度能耗仿真工具MultiRECloudSim和提出多资源调度负载均衡优化算法;4)提出考虑节点内存、CPU资源,容器的相关性等约束的多目标优化的容器调度算法;并提出一种面向大数据应用基于PSO改进的容器调度算法。 ④技术的成熟程度,适用范围和安全性：该成果可广泛应用于云数据中心资源管理、云计算运营管理、云计算理论研究、云计算应用等应用场景和领域。 ⑤应用情况及存在的问题：成果目前已成功应用在云宏的云计算管理平台、虚拟化平台、超融合一体机,广州五舟公司的超融合云平台和五舟桌面云,广州鼎甲公司的云容灾备份系统、云迁移软件等产品中,同时也应用在电信运营商、政府、金融等多个行业的云计算应用项目中。未来将重点与华为云、阿里云等云计算头部企业开展技术联合研发和应用转化合作,推进在大型云数据中心的资源管理和节能中推广使用。