基于预测分析与HPC工作负载高效表征的可靠工作负载管理-研究论文

简介：
通过在HPC平台上运行大数据工作负载来提升系统性能是一种具有吸引力的技术。 资源管理过程中会产生大量由多结构组成的云数据中心（CDC）日志数据。这些数据涵盖作业到达模式、CPU内存占用以及任务持续时间等多个关键指标。 该系统还提供了一种基于Cauchy矩阵的方法，能够自动生成数据在磁盘故障中的恢复过程。 本研究成功地消除了传统方法中耗时的复制管理流程。 在本文中，我们提出了一种基于机器学习算法的动态负载均衡与资源分配技术的系统。 通过采用基于Q-Learning的机器学习算法，我们对系统的性能进行了全面测试和评估。 实验结果表明，所提出的方法在多个关键指标上优于现有方案。 本研究的核心目标是通过机器学习算法识别异构存储环境中不同类型的工作负载模式，并据此优化系统性能。