国家高性能计算环境的虚拟数据空间运行支撑技术研究

何小雨; 邓笋根; 栾海晶; 牛北方

doi:10.11959/j.issn.2096-0271.2021019

您当前的位置：

首页 >

文章列表页 >

国家高性能计算环境的虚拟数据空间运行支撑技术研究

专题：高性能计算虚拟数据空间 | 更新时间：2024-06-03

- 国家高性能计算环境的虚拟数据空间运行支撑技术研究
- Study of technique support on the operation of virtual data space in national high performance computing environment
- 大数据 2021年7卷第2期页码：2021019
- 作者机构：
  
  1. 中国科学院计算机网络信息中心，北京 100190
  2. 中国科学院大学，北京 100190
- 作者简介：
  
  [ "何小雨（1990- ），女，中国科学院计算机网络信息中心高性能计算技术与应用发展部、中国科学院大学博士生，主要研究方向为高性能计算、机器学习等。" ]
  [ "邓笋根（1975- ），男，中国科学院计算机网络信息中心高性能计算技术与应用发展部高级工程师，主要研究方向为高性能计算软件、算法分析等。" ]
  [ "栾海晶（1996- ），女，中国科学院计算机网络信息中心高性能计算技术与应用发展部、中国科学院大学硕士生，主要研究方向为高性能计算和深度学习。" ]
  [ "牛北方（1978- ），男，博士，中国科学院计算机网络信息中心研究员，中国科学院大学岗位教授、博士生导师。中国计算机学会高性能计算专业委员会委员。主要研究方向为高性能计算、数据分析算法与软件技术。" ]
- 基金信息：
  
  国家重点研发计划资助项目;The National Key Research and Development Program of China(2018YFB0203903)
- DOI：10.11959/j.issn.2096-0271.2021019
  中图分类号： TP31
- 网络首发：2021-03，
  
  纸质出版：2021-03-15
- 稿件说明：
移动端阅览
何小雨, 邓笋根, 栾海晶, 等. 国家高性能计算环境的虚拟数据空间运行支撑技术研究[J]. 大数据, 2021,7(2):2021019.

Xiaoyu HE, Sungen DENG, Haijing LUAN, et al. Study of technique support on the operation of virtual data space in national high performance computing environment[J]. Big data research, 2021, 7(2): 2021019.
何小雨, 邓笋根, 栾海晶, 等. 国家高性能计算环境的虚拟数据空间运行支撑技术研究[J]. 大数据, 2021,7(2):2021019. DOI： 10.11959/j.issn.2096-0271.2021019.

Xiaoyu HE, Sungen DENG, Haijing LUAN, et al. Study of technique support on the operation of virtual data space in national high performance computing environment[J]. Big data research, 2021, 7(2): 2021019. DOI： 10.11959/j.issn.2096-0271.2021019.

摘要

国家高性能计算环境的特点是广域分散、系统异构、存储资源隔离自治，这对存储设备管理、数据跨域共享等提出了极大的挑战。首先阐述了虚拟数据空间系统的概念，然后分析了其作为国家高性能计算环境的一部分，如何通过视图访问、数据共享、计算环境对接有效降低跨域的访问开销；接着通过模块化方式将虚拟数据空间系统与国家高性能计算环境进行深度的融合，将其功能补充到国家高性能计算环境中；最后通过统一的虚实空间用户管理框架实现了跨域统一、透明安全的存储服务和对大型计算应用的支撑，这对于国家高性能计算环境的发展具有十分重要的意义。

Abstract

The national high performance computing environment (NHPCE) is characterized by wide area dispersion

heterogeneous system and storage isolation autonomy

which posed great challenges to storage management and data sharing.Firstly

the concept of virtual data space system was described.Secondly

how the virtual data space system effectively reduce the cost of cross domain access through viewing-access

data sharing

computing environment docking

was analyzed.Thirdly

the virtual data space system were deeply integrated with the NHPCE by means of modularization and its functions were added to the NHPCE.Finally

the unified virtual and real space user management framework was used to achieve cross domain unified

transparent and secure storage service and the support of large-scale computing application

which is of great significance to the development of NHPCE.

关键词

Keywords

references

吴璨 , 王小宁 , 肖海力 , 等 . 基于消息总线的高性能计算环境系统软件优化设计与实现 [J ] . 高技术通讯 , 2020 , 30 ( 3 ): 248 - 258 .

WU C , WANG X N , XIAO H L , et al . Design and implement of middleware for high performance computing environment based on message bus [J ] . Chinese High Technology Letters , 2020 , 30 ( 3 ): 248 - 258 .

王晓东 , 赵一宁 , 肖海力 , 等 . 多节点系统异常日志流量模式检测方法 [J ] . 软件学报 , 2020 , 31 ( 10 ): 3295 - 3308 .

WANG X D , ZHAO Y N , XIAO H L , et al . Multi-node system abnormal log flow mode detection method [J ] . Journal of Software , 2020 , 31 ( 10 ): 3295 - 3308 .

和荣 , 王小宁 , 肖海力 . 高性能计算资源聚合服务在中国科技云门户的快速集成研究与实现 [J ] . 科研信息化技术与应用 , 2019 , 10 ( 3 ): 71 - 78 .

HE R , WANG X N , XIAO H L . Research and implementation of high performance computing resource aggregation service in CSTCloud portal [J ] . e-Science Technology＆ Application , 2019 , 10 ( 3 ): 71 - 78 .

吴燦 , 王小宁 , 肖海力 , 等 . 分布式消息系统研究综述 [J ] . 计算机科学 , 2019 , 46 ( z1 ): 1 - 5 , 34 .

WU C , WANG X N , XIAO H L , et al . Survey on distributed message system [J ] . Computer Science , 2019 , 46 ( z1 ): 1 - 5 , 34 .

吴燦 , 王小宁 , 肖海力 , 等 . 高性能计算环境中间件的优化设计与实现 [J ] . 计算机应用研究 , 2019 , 36 ( 1 ): 163 - 167 .

WU C , WANG X N , XIA O H L , et al . Design and implementation of high performance computing environment middleware [J ] . Application Research of Computers , 2019 , 36 ( 1 ): 163 - 167 .

迟学斌 . 高性能计算环境与应用 [J ] . 国防科技工业 , 2018 ( 5 ): 21 - 22 .

CHI X B . High performance computing enviromment and applications [J ] . Defence Science ＆ Technologg Industry , 2018 ( 5 ): 21 - 22 .

迟学斌 . 国家高性能计算环境发展报告(2002—2017年) [M ] . 北京 : 科学出版社 , 2018 .

CHI X B . Development report on national high performance computing environment(2002—2017) [M ] . Beijing : China Science Publishing ＆Media Ltd. , 2018 .

和荣 , 王小宁 , 卢莎莎 , 等 . 高性能计算环境通用计算平台 [J ] . 计算机系统应用 , 2019 , 28 ( 12 ): 55 - 62 .

HE R , WANG X N , LU S S , et al . Platform for high performance computing environment [J ] . Computer Systems ＆Applications , 2019 , 28 ( 12 ): 55 - 62 .

胡正丁 , 薛巍 . 面向异构众核超级计算机的大规模稀疏计算性能优化研究 [J ] . 大数据 , 2020 , 6 ( 4 ): 40 - 55 .

HU Z D , XUE W . Research on performance optimization for large-scale sparse computation over many-core heterogenous supercomputer [J ] . Big Data Research , 2020 , 6 ( 4 ): 40 - 55 .

BIRD I G . LHC com puting (WLCG):past,present,and future [J ] . Grid and Cloud Computing:Concepts and Practical Applications , 2016 , 192 : 1 .

FOATER I , KESSELM AN C . The grid:blueprint for a new computing infrastructure [M ] . San Francisco : Morgan Kaufmann , 2004 .

CHOLIA S , SKINNER D , BOVERHOF J . NEWT:a RESTful service for building high performance computing web applications [C ] // 2010 Gateway Computing Environments Workshop(GCE) . Piscataway:IEEE Press , 2010 .

汤小春 , 符莹 , 丁朝 , 等 . 数据流计算环境下的集群资源管理技术 [J ] . 大数据 , 2020 , 6 ( 3 ): 87 - 100 .

TANG X C , FU Y , DING Z , et al . State-of-art research of cluster resource management in dataflow computing model [J ] . Big Data Research , 2020 , 6 ( 3 ): 87 - 100 .

浏览量

721

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据