-
题名基于Spark的时态查询扩展与时态索引优化研究
被引量：3
- 1
-
-
作者
周亮
李格非
邰伟鹏
郑啸
-
机构
上海交通大学计算机科学与工程系
安徽工业大学计算机科学与技术学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2017年第7期22-28,37,共8页
-
基金
安徽省高校自然科学研究重点项目"基于关键字的大规模地理数据查询方法研究"(KJ2015A310)
-
文摘
时空数据库和基于集群计算的时间分析工具大多基于外存,将其应用在大数据处理场景下系统性能将迅速降低。为此,基于Spark构建一个易用且高可扩展的时态大数据查询分析系统。通过扩展Spark SQL解析器,使其能够支持类SQL形式的时态操作,运用SIMBA开源项目的方法,引入全局过滤和局部时态索引2种优化策略,使得系统能以高吞吐量及低延迟执行时态查询操作。基于时态查询效率的评估实验结果表明,在不同影响参数下,该系统的时态查询性能优于原生的Spark SQL查询处理方案。
-
关键词
时态大数据
spark系统
spark
sql组件
时态查询
时态索引
高吞吐量
低延迟
-
Keywords
temporal big data
spark system
spark sql component
temporal query
temporal index
high throughput
low latency
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
