一种Hadoop Yarn的资源调度方法研究

李媛祯; 杨群; 赖尚琦; 李博涵

doi:10.3969/j.issn.0372-2112.2016.05.002

您当前的位置：

首页 >

文章列表页 >

一种Hadoop Yarn的资源调度方法研究

学术论文 | 更新时间：2025-07-16

- 一种Hadoop Yarn的资源调度方法研究
- A Study on Scheduling Method of Hadoop Yarn
- 电子学报 2016年44卷第5期页码：1017-1024
- 作者机构：
  
  1. 南京航空航天大学计算机科学与技术学院,江苏,南京,210016
  2. 香港大学计算机科学与技术系,香港
  3. 南京航空航天大学计算机科学与技术学院,江苏,南京,210016
  4. 香港大学计算机科学与技术系,香港
- 作者简介：
- 基金信息：
  
  国家自然科学基金 (No.41301407);江苏省自然科学基金 (No.BK20130819)
- DOI：10.3969/j.issn.0372-2112.2016.05.002
  中图分类号： TP301.6
- 网络出版：2016-05-25，
  
  纸质出版：2016
- 稿件说明：
移动端阅览
李媛祯, 杨群, 赖尚琦, 等. 一种Hadoop Yarn的资源调度方法研究[J]. 电子学报, 2016,44(5):1017-1024.

LI Yuan-zhen, YANG Qun, LAI Shang-qi, et al. A Study on Scheduling Method of Hadoop Yarn[J]. Acta Electronica Sinica, 2016, 44(5): 1017-1024.
李媛祯, 杨群, 赖尚琦, 等. 一种Hadoop Yarn的资源调度方法研究[J]. 电子学报, 2016,44(5):1017-1024. DOI： 10.3969/j.issn.0372-2112.2016.05.002.

LI Yuan-zhen, YANG Qun, LAI Shang-qi, et al. A Study on Scheduling Method of Hadoop Yarn[J]. Acta Electronica Sinica, 2016, 44(5): 1017-1024. DOI： 10.3969/j.issn.0372-2112.2016.05.002.

摘要

针对Hadoop Yarn资源调度问题

为提高集群作业执行效率

提出一种基于蚁群算法与粒子群算法的自适应Hadoop资源调度算法SRSAPH.SRSAPH中

通过Hadoop Yarn跳通信机制获取负载、内存、CPU速度等属性信息初始化信息素矩阵;同时

将粒子群算法的自我认知能力与社会认知能力引入到蚁群算法

提高算法的收敛速度;此外

根据蚁群算法全局最优解的波动趋势动态调整信息素挥发系数

提高解的精度.实验表明

采用SRSAPH进行资源调度

集群的作业执行时间缩短至少10%.

Abstract

In view of the resource scheduling problem of Hadoop Yarn

to improve the execution efficiency of the cluster job

we propose a Self-adapt Resource Scheduling algorithm based on Ant Colony Algorithm and Particle Swarm Algorithm in Hadoop (SRSAPH).In SRSAPH

we initialize the pheromone matrix of SRSAPH by using the attribute information of load

memory

and CPU speed obtained through the heartbeat message transfer mechanism.Meanwhile

we introduce the self-cognitive ability and social cognition ability of particle swarm algorithm into the ant colony algorithm to speed up the rate of convergence of the algorithm.Moreover

we dynamically adjust the pheromone evaporation rate based on the fluctuation trends of global optimal solution to enhance the accuracy of the solutions.Experimental result shows that by using SRSAPH in resource scheduling

the execution time of cluster job is shorten by 10%.

关键词

Keywords

references

浏览量

762

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于效用优化的星地融合网络联合用户关联及资源块调度算法

基于遗传-启发算法的微动目标认知ISAR成像资源调度

边缘计算中基于综合信任评价的任务卸载策略

基于广义时间窗的旋转相控阵雷达资源调度算法

基于图学习的密集空间网络传输资源调度方法