期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
基于Spark的空间范围查询索引研究 被引量:5
1
作者 陈业斌 刘娜 +1 位作者 徐宏 刘敏 《计算机应用与软件》 北大核心 2018年第2期96-101,共6页
由于传统的数据处理系统的数据存储与数据处理能力有限,不能满足处理大量数据的需求。为了发挥数据的价值,高效、高性能地处理大量数据集,提出基于Spark系统结合SIMBA的思路共同建立的大数据分析处理系统,基于Spark SQL的查询方式进行检... 由于传统的数据处理系统的数据存储与数据处理能力有限,不能满足处理大量数据的需求。为了发挥数据的价值,高效、高性能地处理大量数据集,提出基于Spark系统结合SIMBA的思路共同建立的大数据分析处理系统,基于Spark SQL的查询方式进行检索;在Spark中嵌入索引管理机制,将其封装在RDD内,用于提高查询效率;通过建立线段树存储数据的方式提高数据检索的效率。对于数据预处理时采用Range Partitioner分区策略的方式对数据进行分区,基于全局过滤和局部索引进行查询。保证该系统在进行查询操作时能够保持高吞吐量和低延迟特性,提高查询效率。 展开更多
关键词 Spark系统 大数据范围 查询 SparkSQL组件
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部