摘要
海量时空数据的高效存储、读写、处理与分析是当前地理信息科学领域的研究热点。本文对目前主流大数据技术产品进行了选取和融合,开展了基于HDFS+Spark的时空大数据存储、处理分析等方面的研究和探讨,以智慧无锡时空信息云平台为应用对象,搭建了一套时空大数据存储处理的集群平台,并通过具体应用实验,得到了时空数据存储、处理、挖掘的响应时间及可视化展示结果,证实了HDFS+Spark集群计算平台在解决时空大数据存储、处理、挖掘方面的有效性。
Efficient storage,reading,writing,processing and analysis of massive spatio-temporal data is a hot research topic in geographic information science.This paper chooses and integrates the mainstream big data technology production,investigates and studies the spatio-temporal big data storage and processing analysis based on HDFS+Spark,and builds the Cluster platform.And also it’s applied in the experiment and the results of response time and visual display of storage,processing and mining of the spatio-temporal data are obtained,which proves the effectiveness of HDFS+Spark cluster computing platform in solving spatio-temporal big data storage,processing and mining.
作者
贾旖旎
周新民
曹芳
JIA Yi-ni;ZHOU Xin-min;CAO Fang(Wuxi Natural Resources and Planning Bureau,Jiangsu Wuxi 214131;Wuda Geoinformatics Co.,Ltd.,Hubei Wuhan 430223)
出处
《软件》
2019年第11期19-23,共5页
Software
基金
江苏省测绘地理信息科研项目(编号：JSCHKY201820)
关键词
时空大数据
集群计算
存储处理
数据挖掘
Spatio-temporal big data
Cluster computing
Storage processing
Data mining
