基于HBase的海量GIS数据分布式处理实践

李雪梅; 邢俊峰; 刘大伟; 王海洋; 刘玮

doi:10.11959/j.issn.2096-0271.2016032

您当前的位置：

首页 >

文章列表页 >

基于HBase的海量GIS数据分布式处理实践

专题：大数据与智慧城市 | 更新时间：2024-06-03

- 基于HBase的海量GIS数据分布式处理实践
- Distributed processing practice of the massive GIS data based on HBase
- 大数据 2016年2卷第3期页码：2016032
- 作者机构：
  
  1. 烟台中科网络技术研究所，山东烟台 264003
  2. 中国科学院计算技术研究所，北京 100080
- 作者简介：
  
  [ "李雪梅（1984-），女，烟台中科网络技术研究所研发工程师，主要研究方向为数据挖掘与分析、自然语言处理、大数据存储管理与挖掘等。" ]
  [ "邢俊峰（1985-），男，烟台中科网络技术研究所研发工程师，主要研究方向为数据存储检索和展现等。" ]
  [ "刘大伟（1984-），男，博士，烟台中科网络技术研究所助理研究员，主要研究方向为海量数据检索、多媒体内容分析、社交网络分析等。" ]
  [ "王海洋（1980-），男，中国科学院计算技术研究所网络数据科学与技术重点实验室、烟台中科网络技术研究所工程师，主要研究方向为数据采集、存储、检索、大数据存储管理等。" ]
  [ "刘玮（1977-），男，中国科学院计算技术研究所网络数据中心、烟台中科网络技术研究所工程师。历任中国科学院计算技术研究所项目负责人，北京中科天玑信息技术有限公司总经理助理，北京中科智源育成信息技术有限公司事业部经理。以项目负责人或核心骨干成员承担和参与了国家信息关防与网络安全保障持续发展计划、国家信息安全专项、国家242信息安全计划、发展和改革委员会产业化项目等10余项国家重大项目的组织实施。" ]
- 基金信息：
  
  山东省自主创新及成果转化专项基金资助项目;Technology Innovation Program of Shandong Province of China(2014XGA06014);山东省科技发展计划基金资助项目;Shandong Technology Research and Development Program(2015GGX106001);烟台市科技发展计划基金资助项目;Yantai Technology Research and Development Program(2014LGS005)
- DOI：10.11959/j.issn.2096-0271.2016032
  中图分类号： TP301
- 网络首发：2016-05，
  
  纸质出版：2016-05-20
- 稿件说明：
移动端阅览
李雪梅, 邢俊峰, 刘大伟, 等. 基于HBase的海量GIS数据分布式处理实践[J]. 大数据, 2016,2(3):2016032.

Xuemei LI, Junfeng XING, IUDawei L, et al. Distributed processing practice of the massive GIS data based on HBase[J]. BIG DATA RESEARCH, 2016, 2(3): 2016032.
李雪梅, 邢俊峰, 刘大伟, 等. 基于HBase的海量GIS数据分布式处理实践[J]. 大数据, 2016,2(3):2016032. DOI： 10.11959/j.issn.2096-0271.2016032.

Xuemei LI, Junfeng XING, IUDawei L, et al. Distributed processing practice of the massive GIS data based on HBase[J]. BIG DATA RESEARCH, 2016, 2(3): 2016032. DOI： 10.11959/j.issn.2096-0271.2016032.

摘要

设计了一种基于分布式数据库HBase的GIS数据管理系统。系统优化了栅格数据的生成和存储过程，将海量栅格数据直接写入HBase存储、索引。同时，针对矢量空间数据的存储、索引与检索，提出了一种新的rowkey设计，既考虑经纬度，又考虑空间数据类型和属性，使得在按空间位置检索矢量地理信息时，能通过HBase的rowkey迅速定位需要返回的数据。在HBase的集群环境上用真实GIS数据对上述方法进行了验证，结果表明，提出的系统具有较高的海量数据存储和检索性能，实现了海量地理信息数据的高效存储和实时高速检索。

Abstract

Based on the distributed database HBase

a kind of GIS data management system was designed.The system optimized the generated and stored procedures of raster data

which could be directly written into the storage and indexing of the HBase.At the same time

in view of the storing

indexing and retrieval of the vector spatial data

a new design for rowkey was proposed that considering both the latitude and longitude

and the spatial data types and attributes.So that the data needed to be returned could be quickly located by rowkey of the HBase

when retrieving vector geographic information according to the spatial location.The above methods had been verified on the HBase cluster environment with real GIS data.The results show that the proposed system has high performance for storage and retrieval of mass data

and realizes the efficient storage and real-time high-speed retrieval of the vast geographic information data.

关键词

Keywords

references

潘柱延 , 程学旗 , 袁晓如 , 等 . CCF大专委2016年大数据发展趋势预测——解读和行动建议 [J ] . 大数据 , 2016 , 2 ( 1 ): 105 - 113 .

PAN Z Y , CHENG X Q , YUAN X R , et al . Developing trend forecasting of big data in 2016 from CCF TFBD:interpretation and proposals [J ] . Big Data Research , 2016 , 2 ( 1 ): 105 - 113 .

CHANG F , DEAN J , GHEMAWA S , et al . Bigyable:a distributed storage system for structured data [C ] // The 7th USENIX Symposium on Operating Systems Design and Implementation,November 6-8,2006,Seattle,WA,USA . New York : ACM Press , 2006 : 205 - 218 .

陈嘉恒 . Hadoop实战 [M ] . 北京 : 机械工业出版社 , 2011 : 1 - 2,260-261 .

CHEN J H . Hadoop in action [M ] . Beijing : China Machine Press , 2011 : 1 - 2,260-261 .

陈崇成 , 林剑峰 , 吴小竹 , 等 . 基于NoSQL的海量空间数据云存储与服务方法 [J ] . 地球信息科学学报 , 2013 , 15 ( 2 ): 166 - 174 .

CHEN C C , LIN J F , WU X Z , et al . Massive geo-spatial data cloud storage and services based on NoSQL database technique [J ] . Journal of Geo-Information Science , 2013 , 15 ( 2 ): 166 - 174 .

范建永 , 龙明 , 熊伟 . 基于HBase的矢量空间数据分布式存储研究 [J ] . 地理信息与地理信息科学 , 2012 , 28 ( 5 ): 39 - 42 .

FAN J L , LONG M , XIONG W . Research of vector spatial data distributed storage based on HBase [J ] . Geography and Geo-Information Science , 2012 , 28 ( 5 ): 39 - 42 .

张叶 , 许国艳 , 花青 . 基于HBase的矢量空间数据存储与访问优化 [J ] . 计算机应用 , 2015 , 35 ( 11 ): 3102 - 3105 .

ZHANG Y , XU G Y , HUA Q . Storage and access optimization of vector space data based on HBase [J ] . Journal of Computer Applications , 2015 , 35 ( 11 ): 3102 - 3105 .

WANG L , CHEN B , LIU Y . Distributed storage and index of vector spatial data based on HBase [C ] // The 2013 21st International Conference on Geoinformatics,June 20-22,2013,Kaifeng,China . New Jersey : IEEE Press , 2013 : 1 - 5 .

陆锋 , 周成虎 . 一种基于Hilbert排列编码的GIS空间索引方法 [J ] . 计算机辅助设计与图形学学报 , 2001 , 13 ( 5 ): 424 - 429 .

LU F , ZHOU C H . A GIS spatial indexing approach based on Hilbert ordering code [J ] . Journal of Computer-Aided Design and Computer Graphics , 2001 , 13 ( 5 ): 424 - 429 .

SHEKHAR S , CHAWLA S . 空间数据库 [M ] . 谢昆青 ,译. 北京 : 机械工业出版社 , 2004 : 108 - 113 .

SHEKHAR S , CHAWLA S . Spatial database [M ] .Translated by XIE K Q . Beijing : China Machine Press , 2004 : 108 - 113 .

滕连泽 , 刘洪斌 , 武伟 . 基于空间数据不同索引方法的比较 [J ] . 计算机与现代化 , 2006 ( 1 ): 60 - 62 .

TENG L Z , LIU H B , WU W . Comparison of indexes based on spatial data [J ] . Computer and Modernization , 2006 ( 1 ): 60 - 62 .

HSU Y T , PAN Y C , WEI L , et al . Key formulation schemes for spatial index in cloud data managements [C ] // The 2012 IEEE 13th International Conference on Mobile Data Management,July 23-26,2012,Bengaluru,India . New Jersey : IEEE Press , 2012 : 21 - 26 .

浏览量

2585

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向大数据的可扩展正则采样并行排序算法

基于大数据技术的甘肃智慧旅游系统

大数据与计算模型

“东数西算”战略与问题的分析研究

高等教育数字化转型的现状与发展研究