从点状应用到大数据统一平台

钱岭; 孙少陵; 石在辉

doi:10.11959/j.issn.2096-0271.2017032

您当前的位置：

首页 >

文章列表页 >

从点状应用到大数据统一平台

应用 | 更新时间：2024-06-03

- 从点状应用到大数据统一平台
- Towards unified big data platform
- 大数据 2017年3卷第3期页码：2017032
- 作者机构：
- 作者简介：
  
  [ "钱岭（1972-），男，博士，中移（苏州）软件技术有限公司大数据部高级工程师、总经理，专注大数据产品规划、研发和应用全流程、软件过程改进等，曾获得中国通信学会科学技术奖二等奖，出版《敏捷开发知识体系》《云计算：深刻改变未来》《功能点分析——成功软件项目的测量实践》和《自适应软件开发：一种管理复杂系统的协作模式》4本著作，发表多篇论文。" ]
  [ "孙少陵（1972-），男，中移（苏州）软件技术有限公司高级工程师、副总经理，主持研发“大云”云计算/大数据产品，曾获得国家科技进步奖二等奖及多项省部级奖励。" ]
  [ "石在辉（1983-），男，中移（苏州）软件技术有限公司大数据产品部方案架构师，主要从事解决方案、战略规划、产品规划等工作。" ]
- 基金信息：
- DOI：10.11959/j.issn.2096-0271.2017032
  中图分类号： TP311.1
- 网络首发：2017-05，
  
  纸质出版：2017-05-20
- 稿件说明：
移动端阅览
钱岭, 孙少陵, 石在辉. 从点状应用到大数据统一平台[J]. 大数据, 2017,3(3):2017032.

Ling QIAN, Shaoling SUN, Zaihui SHI. Towards unified big data platform[J]. Big data research, 2017, 3(3): 2017032.
钱岭, 孙少陵, 石在辉. 从点状应用到大数据统一平台[J]. 大数据, 2017,3(3):2017032. DOI： 10.11959/j.issn.2096-0271.2017032.

Ling QIAN, Shaoling SUN, Zaihui SHI. Towards unified big data platform[J]. Big data research, 2017, 3(3): 2017032. DOI： 10.11959/j.issn.2096-0271.2017032.

摘要

企业在大数据引入过程中，由于平台技术不成熟、缺乏统一技术架构、组织架构不适应等问题，形成了应用竖井和复杂的系统混搭结构，造成了资源利用率不均、数据重复存储、运维成本高、难以形成企业级数据共享等问题。目前大数据平台技术已经逐步成熟，大数据统一平台逐步成为企业分析系统的核心。深入分析了企业级统一大数据平台的整合思路，从管理、业务和技术3个层面入手，分别从组织架构体系建设、大数据平台运营流程重构与实施、大数据平台技术规划与实现等角度提出对策建议。最后，给出中国移动在统一大数据平台整合方面的实践经验。

Abstract

Due to problems like immaturity of platform technology

lack of unified technical framework and inadaptation of organization structure

silo applications and complicated mashup structures were formed when enterprises were introducing big data technology.With maturity of big data platform technology

unified big data platform was gradually becoming the core of enterprise analysis system.The thoughts of enterprise-level big data platform integration from three aspects

management

operation and technology were analyzed.Suggestions about organization structure development

reconstruction and implementation of big data platform operation process

technology planning and realization of platform were provided.At last

practical experiences of unified big data platform integration of China Mobile were presented.

关键词

Keywords

references

李国杰 . 对大数据的再认识 [J ] . 大数据 , 2015 , 1 ( 1 ):2015001.

LI G J . Further understanding of big data [J ] . Big Data Research , 2015 , 1 ( 1 ):2015001.

程学旗 , 靳小龙 , 王元卓 , 等 . 大数据系统和分析技术综述 [J ] . 软件学报 , 2014 , 25 ( 9 ): 1889 - 1908 .

CHENG X Q , JIN X L , WANG Y Z , et al . Survey on big data system and analytic technology [J ] . Journal of Software , 2014 , 25 ( 9 ): 1889 - 1908 .

GHEMAWAT S , GOBIOFF H , LEUNG S T . The Google file system [C ] // The 19th ACM Symposium on Operating Systems Principles,October 19-22,2003,New York,USA . New York:ACM Press , 2003 : 1 - 15 .

DEAN J , GHEMAWAT S . MapReduce:simplifed data processing on large clusters [C ] // The 6th Conference on Symposium on Operating Systems Design＆ Implementation,December 6-8,2004,San Francisco,CA,USA . New York:ACM Press , 2004 :10.

CHANG F , DEAN J , GHEMAWAT S , et al . Bigtable:a distributed storage system for structured data [J ] . ACM Transactions on Computer Systems , 2008 , 26 ( 2 ): 15 .

孟祥飞 , 冯景华 , 赵洋 , 等 . 应用驱动的大数据融合平台建设 [J ] . 大数据 , 2017 , 3 ( 2 ): 67 - 77 .

MENG X F , FENG J H , ZHAO Y , et al . Application-oriented integration platform construction on big data [J ] . Big Data Research , 2017 , 3 ( 2 ): 67 - 77 .

马朝辉 , 聂瑞华 , 谭昊翔 , 等 . 大数据治理的数据模式与安全 [J ] . 大数据 , 2016 , 2 ( 3 ): 83 - 95 .

MA C H , NIE R H , TAN H X , et al . Research on data schema and security in data governance [J ] . Big Data Research , 2016 , 2 ( 3 ): 83 - 95 .

孙少陵 , 周大 , 钱岭 . 云数据仓库高性能查询技术研究 [J ] . 邮电设计技术 , 2011 ( 10 ): 23 - 26 .

SUN S L , ZHOU D , QIAN L . High performance query technique of cloud data warehouse [J ] . Designing Techniques of Posts and Telecommunications , 2011 ( 10 ): 23 - 26 .

周大 , 钱岭 , 郭磊涛 , 等 . HugeTable:一种面向电信行业的云数据仓库 [J ] . 2011中国计算机学会服务计算学术会议,济南,中国,2011-08-18 . 济南:[出版者不详] , 2011 : 1 - 4 .

ZHOU D , QIAN L , GUO L T , et al . HugeTable:telecom oriented data warehouse [C ] // 2011CCF National Conference on Service Computing,August 18,2011,Jinan,China . Jinan:[s.n.] : 2011 : 1 - 4 .

BAO Y , WANG Z , BAI Q , et al . BC-BSP:a BSP-based system with disk cache for large-scale graph processing [J ] . Open Cirrus Summit , 2012 , 7215 ( 1 ): 35 - 39 .

GUO L T , SUN H W , LUO Z G . A data distribution aware task scheduling strategy for mapreduce system [C ] // The 1st International Conference on Cloud Computing,December 1-4,2009,Beijing,China . Berlin:Springer Press , 2009 : 694 - 699 .

YU L , DUAN S Q , SHEN C W , et al . BC-PDM:data mining,social network analysis and text mining system based on cloud computing [C ] // The 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,August 12-16,2012,Beijing,China . New York:ACM Press , 2012 : 1496 - 1499 .

浏览量

941

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向大数据场景的系统性能优化实践

十四运会信息化系统大数据统一平台的设计与应用

水环境模型与大数据技术融合研究

Hadoop下水环境模拟集群运算模式