-
题名一种基于Spark大数据处理平台的查询方法
被引量：6
- 1
-
-
作者
张海峰
魏可欣
-
机构
中通服咨询设计研究院有限公司
南京大学商学院
苏州大学政治与公共管理学院
-
出处
《南京邮电大学学报（自然科学版）》
北大核心
2021年第4期82-90,共9页
-
文摘
Spark SQL在获取Spark核心的计算结果后,需要进行一些格式转化和数据拷贝才能正式输出,将造成内存中相同或近似相同的数据有多个拷贝,浪费了内存资源,也降低了性能,直接影响了用户响应和结果存储容量,并且这种影响会随着输出结果的增大而增大。为此,文中提出了基于Spark大数据处理平台的创新查询方法,以实现查询首结果立即输出,极大缩短客户响应时间。
-
关键词
Spark
SQL
大数据
查询首结果
首结果立即返回
-
Keywords
Spark SQL
big data
query first result
return the first result immediately
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
