一种新的以服务质量为导向的Spark作业调度器

何玉林; 莫沛恒; Philippe Fournier-Viger; 黄哲学

doi:10.11959/j.issn.2096-0271.2025048

您当前的位置：

首页 >

文章列表页 >

一种新的以服务质量为导向的Spark作业调度器

研究 | 更新时间：2025-06-27

- 一种新的以服务质量为导向的Spark作业调度器
- A novel quality of service-oriented Spark job scheduler
- “在大数据计算领域，研究者设计了基于DRL技术的Spark作业调度器，有效降低成本、缩短响应时间，满足多用户QoS要求。”
- 大数据 2025年11卷第4期页码：154-177
- 作者机构：
  
  1.人工智能与数字经济广东省实验室（深圳），广东深圳 518107
  2.深圳大学计算机与软件学院，广东深圳 518060
- 作者简介：
  
  [ "何玉林（1982- ），男，博士，人工智能与数字经济广东省实验室（深圳）研究员，主要研究方向为大数据系统计算技术、面向大数据的数据挖掘和机器学习算法设计及应用。" ]
  [ "莫沛恒（2000- ），男，深圳大学计算机与软件学院硕士生，主要研究方向为大数据分布式计算、Spark性能优化技术、高性能数据挖掘与机器学习算法设计。" ]
  [ "Philippe Fournier-Viger（1980- ），男，博士，深圳大学大数据技术与应用研究所特聘教授，主要研究方向为数据挖掘、人工智能、知识表示和推理、认知模型构建。" ]
  [ "黄哲学（1959- ），男，博士，深圳大学大数据技术与应用研究所特聘教授、所长，主要研究方向为数据挖掘、机器学习、大数据处理与分析、大数据系统计算技术。" ]
- 基金信息：
  
  广东省自然科学基金项目(2023A1515011667);广东省基础与应用基础研究基金项目(2023B1515120020);深圳市科技重大专项项目(KJZD20230923114809020)
- DOI：10.11959/j.issn.2096-0271.2025048
  中图分类号： TP391.9
- 收稿日期：2024-07-02，
  
  纸质出版日期：2025-07-15
- 稿件说明：
移动端阅览
何玉林,莫沛恒,Philippe Fournier-Viger等.一种新的以服务质量为导向的Spark作业调度器[J].大数据,2025,11(04):154-177.

HE Yulin,MO Peiheng,Philippe Fournier-Viger,et al.A novel quality of service-oriented Spark job scheduler[J].BIG DATA RESEARCH,2025,11(04):154-177.
何玉林,莫沛恒,Philippe Fournier-Viger等.一种新的以服务质量为导向的Spark作业调度器[J].大数据,2025,11(04):154-177. DOI： 10.11959/j.issn.2096-0271.2025048.

HE Yulin,MO Peiheng,Philippe Fournier-Viger,et al.A novel quality of service-oriented Spark job scheduler[J].BIG DATA RESEARCH,2025,11(04):154-177. DOI： 10.11959/j.issn.2096-0271.2025048.

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向云边端协同的数据库预聚合方法研究

知识增强策略引导的交互式强化推荐系统

从系统角度审视大图计算

从系统角度审视大数据计算

一种新的以服务质量为导向的Spark作业调度器

A novel quality of service-oriented Spark job scheduler

DOI：10.11959/j.issn.2096-0271.2025048