智慧城市多源异构大数据处理框架

刘岩; 王华; 秦叶阳; 朱兴杰

doi:10.11959/j.issn.2096-0271.2017007

您当前的位置：

首页 >

文章列表页 >

智慧城市多源异构大数据处理框架

研究 | 更新时间：2024-06-03

- 智慧城市多源异构大数据处理框架
- Multisource heterogeneous big data processing architecture in smart city
- 大数据 2017年3卷第1期页码：2017007
- 作者机构：
  
  1. 泰康保险集团股份有限公司数据信息中心，北京 102206
  2. 中国人民大学，北京 100872
  3. 北京大学，北京 100871
- 作者简介：
  
  [ "刘岩（1982-），男，泰康保险集团股份有限公司数据信息中心高级工程师、高级主管，中国计算机学会会员，主要研究方向为智慧城市建设与规划、多源异构大数据内容挖掘与分析、人工智能理论与应用等，在大数据系统设计、人脸识别、OCR识别等领域具有丰富的实践经验，曾作为首席专家参与多个城市智慧化发展规划与实施建设。目前已发表学术论文25篇，申请美国发明专利4项，中国发明专利17项，软件著作权3项，荣获省科技进步奖一项，承担多个“973”计划项目、国家自然科学基金等项目。" ]
  [ "王华（1985-），男，中国人民大学硕士生，主要研究方向为大数据处理架构与应用、多源异构数据内容清洗及结构化转化等，对Hadoop、Spark生态系统及组件具有丰富的应用实践经验。" ]
  [ "秦叶阳（1986-），女，就职于北京大学，安徽荣创智能科技有限公司联合创始人，主要研究方向为智慧城市信息化建设、大数据处理系统设计与应用、信息安全等，在信息化系统建设、项目组织与运营管理、公共关系管理等方面具有丰富的经验。" ]
  [ "朱兴杰（1986-），男，泰康保险集团股份有限公司数据信息中心应用创新高级工程师，主要研究方向为视频数据内容挖掘与分析、人脸检测与识别、机器学习等。" ]
- 基金信息：
- DOI：10.11959/j.issn.2096-0271.2017007
  中图分类号： TP391
- 网络首发：2017-01，
  
  纸质出版：2017-01-20
- 稿件说明：
移动端阅览
刘岩, 王华, 秦叶阳, 等. 智慧城市多源异构大数据处理框架[J]. 大数据, 2017,3(1):2017007.

Yan LIU, Hua WANG, Yeyang QIN, et al. Multisource heterogeneous big data processing architecture in smart city[J]. Big data research, 2017, 3(1): 2017007.
刘岩, 王华, 秦叶阳, 等. 智慧城市多源异构大数据处理框架[J]. 大数据, 2017,3(1):2017007. DOI： 10.11959/j.issn.2096-0271.2017007.

Yan LIU, Hua WANG, Yeyang QIN, et al. Multisource heterogeneous big data processing architecture in smart city[J]. Big data research, 2017, 3(1): 2017007. DOI： 10.11959/j.issn.2096-0271.2017007.

摘要

智慧城市建设的重心已由传统IT系统和信息资源共享建设，转变为数据的深度挖掘利用和数据资产的运营流通。大数据中心是数据资产管理和利用的实体基础，其核心驱动引擎是大数据平台及各类数据挖掘与分析系统。讨论了智慧城市大数据中心建设的功能架构，围绕城市多源异构数据处理的实际需要，对数据中心大数据平台的架构进行了拆分讲解，并以视频大数据处理为例，阐述了数据中心中大数据平台的运转流程。

Abstract

The focus of smart city construction has been transferred from the tradition IT systems and sharing of information resources construction into the data mining operations and the flow of data assets.Big data center is the physical infrastructure of data assets management and utilization.Its core driver includes big data platform and kinds of data mining and analysis systems.The functional architecture of big data center in smart cities was discussed.And around the actual needs of urban multisource heterogeneous data processing

the structure of the big data platform used by parts was explained.Then taking the video processing as an example

the working flow of big data platform in the big data center was described.

关键词

Keywords

references

程学旗 , 靳小龙 , 王元卓 , 等 . 大数据系统和分析技术综述 [J ] . 软件学报 , 2014 , 25 ( 9 ): 1889 - 1908 .

CHENG X Q , JIN X L , WANG Y Z , et al . Survey on big data system and analytic technology [J ] . Journal of Software , 2014 , 25 ( 9 ): 1889 - 1908 .

石宇 , 詹明 , 尹璐 , 等 . 面向对象的多源异构数据关联组织与分析 [J ] . 测绘通报 , 2015 ( 1 ): 102 - 104 .

SHI Y , ZHAN M , YIN L , et al . Research on associated orgabization and analysis of target-oriented multi-source heterogeneous data [J ] . Bulletin of Surveying and Mapping , 2015 ( 1 ): 102 - 104 .

GHEMAWAT S , GOBIOFF H , LEUNG S . File and storage systems:the Google file system [J ] . ACM Sigops Operating Systems Review , 2003 , 37 ( 5 ): 29 - 43 .

HE H , DU Z , ZHANG W , et al . Optimization strategy of Hadoop small file storage for big data in healthcare [J ] . Journal of Supercomputing , 2015 , 72 ( 10 ): 1 - 12 .

DEAN J , GHEMAWAT S . MapReduce:simplified data processing on large clusters [J ] . Communications of the ACM , 2008 , 51 ( 1 ): 107 - 113 .

孙大为 , 张广艳 , 郑纬民 . 大数据流式计算:关键技术及系统分析 [J ] . 软件学报 , 2014 , 25 ( 4 ): 839 - 862 .

SUN D L , ZHANG G Y , ZHENG W M . Big data stream computing:technologies and instances [J ] . Journal of Software , 2014 , 25 ( 4 ): 839 - 862 .

齐开元 , 赵卓峰 . 针对高速数据流的大规模数据实时处理方法 [J ] . 计算机学报 , 2012 , 35 ( 3 ): 477 - 490 .

QI K Y , ZHAO Z F . Real-time processing for high speed data stream over large scale data [J ] . Chinese Journal of Computers , 2012 , 35 ( 3 ): 477 - 490 .

DING S H , LI G , LI Y , et al . SurvSurf:human retrieval on large surveillance video data [J ] . Multimedia Tools ＆ Applications , 2016 ( 1 ): 1 - 29 .

ZHU H D , SHEN Z , SHANG L , et al . Parallel image texture feature extraction under Hadoop cloud platform [J ] . Springer International Publishing , 2014 ( 8588 ): 459 - 465 .

浏览量

2039

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

论大数据视角下的地球空间信息学的机遇与挑战

面向智慧城市的大数据开放共享平台及产业生态建设

利用大数据挖掘和知识发现技术辅助智慧城市发展

以大数据为核心驱动智慧城市变革

面向大数据的可扩展正则采样并行排序算法