一种资源不均衡Spark环境下的任务调度优化方法[CN201910669809.6] - 浙江工业大学

专利申请

2019-07-24
公布公告

2021-09-28
授权日期

2021-09-28
终止

2031-09-26

一种资源不均衡Spark环境下的任务调度优化方法

* 专利信息仅供参考，不具有法律效力。有效专利

注册号： CN201910669809.6 申请日期： 2019-07-24 专利主类别： G06F9/48 {{ classMap["G06F9/48"] }}

申请人名称：浙江工业大学

查看申请人名下所有专利

申请人地址：浙江省杭州市下城区潮王路18号

专利分类项目

G06F9/48 : 程序启动；程序切换，例如通过中断

G06F9/50 : 资源分配，例如，中央处理单元（CPU）的

专利注册信息

初审公告期号	2019-07-24	初审公告日期	2021-09-28
注册公告期号	2021-09-28	注册公告日期	2021-09-28
专用权期限	2021-09-28 - 2031-09-26	专利类型	发明授权
代理组织机构	杭州之江专利事务所查看该机构代理的所有专利

专利介绍

本发明涉及一种资源不均衡Spark环境下的任务调度优化方法，本发明对Spark的底层调度算法进行优化，提出了基于节点优先级的Spark动态自适应调度算法(Spark Dynamic Adaptive Scheduling Algorithm，SDASA)。SDASA使用节点的优先级表示其计算能力，并在任务运行过程中实时进行优先级的更新，充分了考虑节点的异构性、资源利用和负载等情况。实验证明SDASA能够提高Spark系统的运行效率，缩短作业执行时间。当执行不同数据量的同种任务时，使用SDASA算法集群性能平均提升6.99％；当执行不同种任务时，使用SDASA算法集群性能平均提升6.32％。

法律进度