面向多星多任务的大数据处理系统设计

马福利; 石涛; 陈玲; 郑岩; 熊森林

doi:10.11959/j.issn.2096-0271.2021045

您当前的位置：

首页 >

文章列表页 >

面向多星多任务的大数据处理系统设计

专题：国产环境下的大数据处理系统 | 更新时间：2024-06-03

- 面向多星多任务的大数据处理系统设计
- Design of big data processing system supporting multi-satellites and multi-tasks
- 大数据 2021年7卷第5期页码：2021045
- 作者机构：
  
  1. 中国科学院国家空间科学中心，北京 100190
  2. 中国科学院空天信息创新研究院，北京 100094
- 作者简介：
  
  [ "马福利（1986- ），男，中国科学院国家空间科学中心高级工程师，主要研究方向为卫星地面数据处理技术、大数据计算与存储技术" ]
  [ "石涛（1982- ），男，中国科学院空天信息创新研究院副研究员，主要研究方向为卫星地面数据处理技术和卫星数据地面处理系统" ]
  [ "陈玲（1987- ），女，中国科学院国家空间科学中心项目高级工程师，主要研究方向为卫星地面数据处理技术" ]
  [ "郑岩（1983- ），男，中国科学院国家空间科学中心高级工程师，主要研究方向为大数据环境下的融合计算存储技术和通信网络技术" ]
  [ "熊森林（1988- ），男，博士，中国科学院国家空间科学中心助理研究员，主要研究方向为空间物理学、卫星地面数据处理与管理技术" ]
- 基金信息：
- DOI：10.11959/j.issn.2096-0271.2021045
  中图分类号： V557
- 网络首发：2021-09，
  
  纸质出版：2021-09-15
- 稿件说明：
移动端阅览
马福利, 石涛, 陈玲, 等. 面向多星多任务的大数据处理系统设计[J]. 大数据, 2021,7(5):2021045.

Fuli MA, Tao SHI, Ling CHEN, et al. Design of big data processing system supporting multi-satellites and multi-tasks[J]. Big data research, 2021, 7(5): 2021045.
马福利, 石涛, 陈玲, 等. 面向多星多任务的大数据处理系统设计[J]. 大数据, 2021,7(5):2021045. DOI： 10.11959/j.issn.2096-0271.2021045.

Fuli MA, Tao SHI, Ling CHEN, et al. Design of big data processing system supporting multi-satellites and multi-tasks[J]. Big data research, 2021, 7(5): 2021045. DOI： 10.11959/j.issn.2096-0271.2021045.

摘要

随着我国发射的空间科学卫星越来越多，科学数据量爆发式增长，空间科学卫星大数据处理逐渐成为空间科学创新发展过程中被重点关注的环节，建设一套高性能的地面数据处理系统是建设我国自主可控的空间科学大数据生态、助力科学成果产出的重要推手。面向多星多任务并行处理的任务需求，针对空间科学卫星大数据处理中的多分级分类、多源产品融合组织以及高时效性要求等特点，提出了适用于大数据处理业务场景的高可靠硬件环境设计方案，并针对科学卫星处理任务类型多的特点，提出了基于任务类型感知的统一资源调度系统。完成了面向多星多任务的可扩展地面大数据处理系统的研制，支撑了中国科学院空间科学先导专项中的科学卫星数据处理任务。

Abstract

With more and more space science satellites were launched in China

the scientific data amount has grown explosively

and the resulting space science satellite big data processing has gradually become a key link in the development of space science innovation.A high-performance ground data processing system is an important driver for promoting the construction of Chinese controllable space science big data ecology and boosting the output of scientific results.Aiming at the characteristics of multi-level classification

multi-source product integration organization and high timeliness requirements in space science satellite data processing

and for the task requirements of multi-satellite and multi-task parallel processing

a high-reliability hardware system design suitable for big data processing business scenarios was proposed

and a unified resource scheduling system based on task type perception was proposed according to the characteristics of scientific satellite processing tasks.Based on these designs

the development of a space science big data scalable ground big data processing system was completed

which had successfully supported the data processing tasks for space science missions from Chinese Academy of Sciences.

关键词

Keywords

references

陈世荣 , 严立 , 申佩佩 . 高分遥感卫星影像预处理系统的设计和实现 [J ] . 测绘与空间地理信息 , 2021 , 44 ( 3 ): 1 - 3 .

CHEN S R , YAN L , SHEN P P . Design and implements of high-resolution satellite image preprocessing system [J ] . Geomatics ＆Spatial Information Technology , 2021 , 44 ( 3 ): 1 - 3 .

刘定生 , 陈元伟 , 李景山 . 遥感卫星地面预处理系统技术发展模式探讨 [J ] . 遥感信息 , 2008 , 23 ( 5 ): 87 - 91 .

LIU D S , CHEN Y W , LI J S . The study on the development patterns of remote sensing satellite ground pre-processing systems [J ] . Remote Sensing Information , 2008 , 23 ( 5 ): 87 - 91 .

MOSES J F , . Architectures toward reusable science data systems [C ] // Proceedings of the AGU Fall Meeting .[S.l:s.n. ] , 2014 .

钱建梅 , 孙安来 , 徐喆 , 等 . 风云气象卫星数据存档与服务系统 [J ] . 应用气象学报 , 2012 , 23 ( 3 ): 369 - 376 .

QIAN J M , SUN A L , XU Z , et al . Fengyun series meteorological satellite data archiving and service system [J ] . Journal of Applied Meteorological Science , 2012 , 23 ( 3 ): 369 - 376 .

赵现纲 , 林曼筠 , 谢利子 , 等 . 风云卫星地面应用系统计算机网络平台架构 [J ] . 气象科技进展 , 2020 , 10 ( 3 ): 43 - 48 .

ZHAO X G , LIN M J , XIE L Z , et al . Computer network system of FY satellite ground segment [J ] . Advances in Meteorological Science and Technology , 2020 , 10 ( 3 ): 43 - 48 .

李盛阳 , 刘志文 , 张万峰 , 等 . 天宫二号应用任务地面数据处理与服务系统 [J ] . 中国科学:技术科学 , 2020 , 50 ( 8 ): 1066 - 1080 .

LI S Y , LIU Z W , ZHANG W F , et al . Tiangong-2 application mission ground data processing and service system [J ] . Scientia Sinica Technologica , 2020 , 50 ( 8 ): 1066 - 1080 .

BENKHOFF J , CASTEREN J V , HAYAKAWA H , et al . BepiColombocomprehensive exploration of mercury:mission overview and science goals [J ] . Planetary and Space Science , 2010 , 58 ( 1-2 ): 2 - 20 .

D’AMORE M , JÖRN H , MATURILLI A , et al . BepiColombo/MERTIS data processing pipeline at DLR [C ] // Proceedings of the EGU General Assembly 2016 .[S.l:s.n. ] , 2016 .

DAMPE C . Direct detection of a break in the teraelectronvolt cosmic-ray spectrum of electrons and positrons [J ] . Nature , 2017 , 552 ( 7683 ): 63 - 66 .

LIAO S K , CAI W Q , LIU W Y , et al . Satelliteto-ground quantum key distribution [J ] . Nature , 2017 , 549 ( 7670 ): 43 - 47 .

LIAO S K , YONG H L , LIU C , et al . Long-distance free-space quantum key distribution in daylight towards intersatellite communication [J ] . Nature Photonics , 2017 , 11 ( 8 ): 509 - 513 .

YIN J , CAO Y , LI Y H , et al . Satellitebased entanglement distribution over 1200 kilometers [J ] . Science , 2017 , 356 ( 6343 ): 1140 - 1144 .

LI T P , XIONG S L , ZHANG S N , et al . Insight-HXMT observations of the first binary neutron star merger GW170817 [J ] . Science China Physics,Mechanics ＆Astronomy , 2017 , 61 ( 3 ): 1 - 8 .

浏览量

548

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向大数据的可扩展正则采样并行排序算法

基于大数据技术的甘肃智慧旅游系统

大数据与计算模型

“东数西算”战略与问题的分析研究

高等教育数字化转型的现状与发展研究