大数据流式计算：应用特征和技术挑战

孙大为

doi:10.11959/j.issn.2096-0271.2015032

您当前的位置：

首页 >

文章列表页 >

大数据流式计算：应用特征和技术挑战

研究 | 更新时间：2024-06-03

- 大数据流式计算：应用特征和技术挑战
- Big Data Stream Computing:Features and Challenges
- 大数据 2015年1卷第3期页码：92-98
- 作者机构：
  
  中国地质大学信息工程学院北京 100083
- 作者简介：
  
  [ "陈卫，男，微软亚洲研究院高级研究员，清华大学客座教授，中国科学院计算所客座研究员，多个国际顶级数据挖掘和数据管理会议（KDD、WSDM、SIGMOD、ICDE、WWW等）的程序委员会成员，中国计算机学会大数据专家委员会首批成员，《大数据》期刊编委。近期主要研究方向包括社交与信息网络算法和数据挖掘、网络博弈论和经济学、在线学习等。近几年在社会影响力最大化方面的一系列开创性研究成果，在KDD、ICDM、SDM、WSDM、ICWSM、AAAI、VLDB等顶级数据挖掘、人工智能和数据库学术会议上发表后得到良好反响，并引发这一方向众多的后续工作。最早发表的KDD’2009论文被引用次数排同会议所有论文第二位，而第二篇KDD’2010论文被引用次数排同会议所有论文第一位。2013年与另外两位合作者合写了一部关于影响力传播和最大化的专著（Information and Influence Propagation in Social Networks,Morgan＆Claypool,2013），系统总结了这方面的研究成果和最新发展。另外，在与社会和信息网络相关的方向，如社区检测、网络中心化度量排序、网络博弈、网络定价、网络激励机制等方面也都做出开创性的工作，其中将博弈论引入网络社区检测的论文获得了2010年欧洲机器学习及数据挖掘会议最佳学生论文奖。" ]
- 基金信息：
  
  中国博士后科学基金资助项目;The China Postdoctoral Science Foundation Under Grant(2014M560976);中央高校基本科研业务费专项资金;The Fundamental Research Funds for the Central Universities Under Grant(2652015338)
- DOI：10.11959/j.issn.2096-0271.2015032
  中图分类号： TP311.13
- 网络首发：2015-06，
  
  纸质出版：2015-06-20
- 稿件说明：
移动端阅览
孙大为. 大数据流式计算：应用特征和技术挑战[J]. 大数据, 2015,1(3):92-98.

Dawei Sun. Big Data Stream Computing:Features and Challenges[J]. BIG DATA RESEARCH, 2015, 1(3): 92-98.
孙大为. 大数据流式计算：应用特征和技术挑战[J]. 大数据, 2015,1(3):92-98. DOI： 10.11959/j.issn.2096-0271.2015032.

Dawei Sun. Big Data Stream Computing:Features and Challenges[J]. BIG DATA RESEARCH, 2015, 1(3): 92-98. DOI： 10.11959/j.issn.2096-0271.2015032.

摘要

在大数据时代，数据的时效性日益突出，数据的流式特征更加明显，越来越多的应用场景需要部署在流式计算平台中。大数据流式计算作为大数据计算的一种形态，其重要性也不断提升。针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了系统化的分析，并从系统架构的角度，给出了大数据流式计算系统构建的原则性策略。结合当前比较典型的流式计算平台，重点研究了当前大数据流式计算在在线环境下的资源调度和节点依赖环境下的容错策略等方面的技术挑战。

Abstract

In big data era

the timeliness of data has become one of the most important factors

and the streaming feature of data has become more obvious.More and more applications need to be deployed in stream computing platforms.Big data stream computing as a major form of big data computing has become more and more important.The features of big data stream computing application were systematically analyzed.The principle strategies to build a big data stream computing system were given from the perspective of system architecture.Combined with some typical big data stream computing systems

some technology challenges in big data stream computing environments were focused

such as resource scheduling in online environments

fault tolerance strategy in node-dependence environments.

关键词

Keywords

references

Assunção M D , Calheiros R N , Bianchi S , et al . Big data computing and clouds: trends and future directions . Journal of Parallel and Distributed Computing , 2015 ( 79～80 ): 3 ～ 15

Chen C L P , Zhang C Y . Data-intensive applications,challenges,techniques and technologies: a survey on big data . Information Sciences 2014 , 275 ( 11 ): 314 ～ 347

Kambatla K , Kollias G , Kumar V , et al . Trends in big data analytics . Journal of Parallel and Distributed Computing , 2014 , 74 ( 7 ): 2561 ～ 2573

李学龙 , 龚海刚 . 大数据系统综述 . 中国科学:信息科学 , 2015 , 45 ( 1 ): 1 ～ 44

Li X L , Gong H G . A survey on big data systems . Science China: Information Sciences , 2015 , 45 ( 1 ): 1 ～ 44

孟小峰 , 慈祥 . 大数据管理: 概念、技术与挑战 . 计算机研究与发展 , 2013 , 50 ( 1 ): 146 ～ 169

Meng X F , Ci X . Big data management:concepts,techniques and challenges . Journal of Computer Research and Development , 2013 , 50 ( 1 ): 146 ～ 169

Dehne F , Kong Q , Rau-Chaplin A , et al . Scalable real-time OLAP on cloud architectures . Journal of Parallel and Distributed Computing , 2015 ( 79～80 ): 1920 ～ 1948

Zhang H , Chen G , Ooi B C , et al . In-memory big data management and processing: a survey . IEEE Transactions on Knowledge and Data Engineering , 2015 , 27 ( 7 ): 1920 ～ 1948

Zaharia M , Das T , Li H Y , et al . Discretized streams: fault-tolerant streaming computation at scale . Proceedings of the 24th ACM Symposium on Operating Systems Principles , California,USA , 2013 : 423 ～ 438

Lv Y S , Duan Y J , Kang W W , et al . Traffic flow prediction with big data: a deep learning approach . IEEE Transactions on Intelligent Transportation Systems , 2015 , 16 ( 2 ): 865 ～ 873

Agerri R , Artola X , Beloki Z , et al . Big data for natural language processing: a streaming approach . Knowledge-Based Systems , 2015 ( 79 ): 36 ～ 42

Sfrent A , Pop F . Asymptotic scheduling for many task computing in big data platforms . Information Sciences , 2015 ( 319 ): 71 ～ 91

Yang F , Qian Z P , Chen X W et al . Sonora:a platform for continuous mobile-cloud computing . http://research.microsoft.com/apps/pubs/default.aspx?id=161446, http://research.microsoft.com/apps/pubs/default.aspx?id=161446, 2012

Andreolini M , Colajanni M , Pietri M , et al . Adaptive,scalable and reliable monitoring of big data on clouds . Journal of Parallel and Distributed Computing , 2015 ( 79～80 ): 67 ～ 79

浏览量

569

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向大数据的可扩展正则采样并行排序算法

基于大数据技术的甘肃智慧旅游系统

大数据与计算模型

“东数西算”战略与问题的分析研究

高等教育数字化转型的现状与发展研究