期刊文献+
共找到47篇文章
< 1 2 3 >
每页显示 20 50 100
异构数据源集成系统查询分解和优化的实现 被引量:66
1
作者 王宁 王能斌 《软件学报》 EI CSCD 北大核心 2000年第2期222-228,共7页
通用异构数据源集成系统需要集成包括 WWW在内的各种数据源 ,有些数据源既无规则的模式结构 ,又无强有力的查询功能 ,给全局查询的分解和优化造成一定的困难 .异构数据源集成系统 Versatile一方面利用局部动态字典的模板操作构造集成系... 通用异构数据源集成系统需要集成包括 WWW在内的各种数据源 ,有些数据源既无规则的模式结构 ,又无强有力的查询功能 ,给全局查询的分解和优化造成一定的困难 .异构数据源集成系统 Versatile一方面利用局部动态字典的模板操作构造集成系统全局动态字典 ,作为查询分解和优化的依据 .一方面采用基于缓存和数据源能力的查询分解和优化策略 ,以便充分利用数据源的查询能力 ,简化包装器的设计 ,并取得较高的查询效率 . 展开更多
关键词 异构数据源 数据集成 查询分解 查询优化 数据库
下载PDF
HiBase:一种基于分层式索引的高效HBase查询技术与系统 被引量:56
2
作者 葛微 罗圣美 +6 位作者 周文辉 赵頔 唐云 周娟 曲文武 袁春风 黄宜华 《计算机学报》 EI CSCD 北大核心 2016年第1期140-153,共14页
大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主... 大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用(LRU)算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍(大结果集)到3000多倍(小结果集);而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍(大结果集)到1.7万倍(小结果集),比开源的Hindex系统快5~20倍. 展开更多
关键词 HBASE 非主键索引 查询处理 分层式索引 缓存替换策略 大数据
下载PDF
关系数据库语义缓存的研究进展 被引量:7
3
作者 蔡建宇 杨树强 +1 位作者 贾焰 邹鹏 《计算机工程与科学》 CSCD 2005年第10期62-64,84,共4页
语义缓存是优化数据库性能的有效方法,在关系数据库领域得到了广泛研究和应用。它是将查询结果和相关语义信息缓存,从而为将来的查询提供解答。本文首先介绍了语义缓存的基本概念和原理,然后对现有语义缓存技术进行了分类,最后结合语义... 语义缓存是优化数据库性能的有效方法,在关系数据库领域得到了广泛研究和应用。它是将查询结果和相关语义信息缓存,从而为将来的查询提供解答。本文首先介绍了语义缓存的基本概念和原理,然后对现有语义缓存技术进行了分类,最后结合语义缓存的发展趋势讨论了语义缓存的关键技术。 展开更多
关键词 语义缓存 查询匹配 查询剪裁 缓存替换
下载PDF
面向聚集查询的语义缓存技术 被引量:5
4
作者 蔡建宇 吴泉源 +1 位作者 贾焰 邹鹏 《软件学报》 EI CSCD 北大核心 2007年第2期361-371,共11页
将目前主要用于小规模数据库查询的语义缓存技术拓展到海量数据库的聚集查询中,以面向聚集查询的语义缓存形式模型为基础,构造了语义缓存StarCache.详细讨论了StarCache中的聚集查询处理、语义缓存替换管理和一致性维护等技术.StarCach... 将目前主要用于小规模数据库查询的语义缓存技术拓展到海量数据库的聚集查询中,以面向聚集查询的语义缓存形式模型为基础,构造了语义缓存StarCache.详细讨论了StarCache中的聚集查询处理、语义缓存替换管理和一致性维护等技术.StarCache已经集成在自主研发的并行数据库中间件StarTP中,并在一项大型国家工程中得到实际应用. 展开更多
关键词 聚集查询 语义缓存 查询处理 缓存替换 一致性维护
下载PDF
基于谓词分类的语义缓存查询裁剪 被引量:6
5
作者 李东 杨小鹏 罗鹏飞 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2008年第1期44-49,共6页
为了解决传统查询裁剪在时间和空间上的高复杂性,提出了一种基于谓词分类的语义缓存查询裁剪算法.首先从语义上将谓词分成范围谓词和约束谓词两类,并分别对这两类谓词进行"满足"、"相交"和"包含"的定义;... 为了解决传统查询裁剪在时间和空间上的高复杂性,提出了一种基于谓词分类的语义缓存查询裁剪算法.首先从语义上将谓词分成范围谓词和约束谓词两类,并分别对这两类谓词进行"满足"、"相交"和"包含"的定义;然后基于谓词分类提出了一种新的查询裁剪算法,并对算法的复杂度进行了分析.模拟实验结果表明,所提出的裁剪算法是有效的,特别是在处理查询和缓存相交的情况下,与基于谓词模型的传统串型裁剪算法和基于逻辑规则的裁剪算法相比,文中算法可明显改善查询裁剪效率. 展开更多
关键词 查询裁剪 语义 约束式 范围式 语义缓存
下载PDF
语义缓存的聚集查询匹配研究 被引量:4
6
作者 蔡建宇 吴泉源 +1 位作者 贾焰 邹鹏 《计算机研究与发展》 EI CSCD 北大核心 2006年第12期2124-2130,共7页
为提高海量数据库系统的查询效率,围绕海量数据库系统中的聚集查询技术,把通常应用于小型数据库查询的语义缓存技术拓展到海量数据库的聚集查询中·首先研究了面向聚集查询的语义缓存形式化描述,在此基础上讨论了利用缓存处理查询... 为提高海量数据库系统的查询效率,围绕海量数据库系统中的聚集查询技术,把通常应用于小型数据库查询的语义缓存技术拓展到海量数据库的聚集查询中·首先研究了面向聚集查询的语义缓存形式化描述,在此基础上讨论了利用缓存处理查询的条件并对查询匹配进行了分类,提出并实现了包含匹配判定算法和相交匹配判定算法,最后给出了相应的实验结果·在某大型实际工程中的应用表明上述判定算法是有效的· 展开更多
关键词 聚集查询 语义缓存 查询匹配
下载PDF
面向Select和Sort的数据库算子缓存的设计与实现
7
作者 蔡万里 王新硕 +3 位作者 胡卉芪 蔡鹏 周烜 屠要峰 《计算机学报》 EI CAS CSCD 北大核心 2024年第9期2084-2103,共20页
缓存是数据库中提高查询性能的一种常用技术.目前,现有数据库缓存主要有两个方向:查询结果缓存和存储层块缓存.查询结果缓存是利用数据库查询执行的最终结果或中间结果(如子查询),而存储层块缓存则缓存查询涉及的底层数据块.本文从另外... 缓存是数据库中提高查询性能的一种常用技术.目前,现有数据库缓存主要有两个方向:查询结果缓存和存储层块缓存.查询结果缓存是利用数据库查询执行的最终结果或中间结果(如子查询),而存储层块缓存则缓存查询涉及的底层数据块.本文从另外一个角度“缓存中含有的计算量”来重新审视缓存在查询优化中的应用,并以此为基础进一步划分数据库缓存方式.在查询执行过程中,数据库查询被转换成一系列操作(例如选择、排序等)的集合,而算子对应操作.查询处理中算子输出的数据为中间结果,含有部分计算量,我们将这部分数据进行缓存并加以利用.我们将这种缓存部分计算量的缓存方式称为算子缓存,即缓存每个操作执行后的结果.由于不同查询之间可能会存在相同算子,对相近数据执行相同计算,因此利用算子缓存加速查询执行性能具有相当大的潜力.本文的新颖之处在于从缓存含有的计算量角度出发,提出并研究算子缓存如何在查询优化中应用.本文以Filter、Sort算子为例,针对缓存复用提出了一种基于语义树的匹配算法,用于快速匹配缓存中的结果集.同时,针对复用缓存可能劣化查询性能的情况,提出使用基于成本的代价优化器防止使用缓存劣化查询性能.最后,本文基于开源分析型数据库ClickHouse实现了Filter、Sort算子缓存的原型,并对提出的算子缓存方案进行了大量的实验测试.结果表明,相比块缓存、物化视图方式,本文提出的算子缓存方案在本地SSD部署下最大能够分别提升9倍以及1.5倍的查询响应速度,在云环境下部署能够分别提升30倍以及2倍的查询响应速度. 展开更多
关键词 数据库 查询执行 查询优化 算子缓存 联机分析处理
下载PDF
DICE:An Effective Query Result Cache for Distributed Storage Systems 被引量:1
8
作者 Jun-Ki Min Member, A CM Mi-Young Lee 《Journal of Computer Science & Technology》 SCIE EI CSCD 2010年第5期933-944,共12页
Due to the proliferation of Internet and Intranet,the distributed storage systems have received a lot of attention. These systems span a large number of machines and store huge amount of data for a lot of users.In the... Due to the proliferation of Internet and Intranet,the distributed storage systems have received a lot of attention. These systems span a large number of machines and store huge amount of data for a lot of users.In the distributed storage systems,a row can be directly accessed using a row key.We concentrate on a problem of efficient processing of queries whose predicate is on a column but not a row key.In this paper,we present a cache management technique,called DICE which maintains query results of range queries to support the next range queries.To accelerate the search time of the cached query results,we use modified Interval Ski Lists.In addition,we devise a novel cache replacement policy since DICE maintains an interval rather than a data item.Since our cache replacement policy considers the properties of intervals,our proposed technique is more efficient than traditional buffer replacement algorithms.Our experimental result demonstrates the efficiency of our proposed technique. 展开更多
关键词 distributed system range query query caching Interval Skip List cache replacement
原文传递
智能异构数据集成系统中的查询优化策略 被引量:2
9
作者 边爽 李冠宇 《交通与计算机》 2004年第3期27-30,共4页
异构数据集成系统需要集成大量不同数据源的数据 ,查询效率倍受关注。文章提出采用基于移动智能体技术的预取、缓存和基于机群的数据分布相结合的查询优化策略 ,以提高异构数据集成系统的查询效率。
关键词 智能异构数据集成系统 移动智能体技术 查询优化策略 查询效率 预取 缓存 网络
下载PDF
基于缓存机制的ROLAP系统改进方法研究 被引量:3
10
作者 田英爱 张志华 蒋玉茹 《微计算机信息》 北大核心 2008年第3期180-182,共3页
ROLAP相对于MOLAP在处理多维数据性能方面有很多不足。给出ROLAP的体系结构,研究了改进ROLAP系统性能的若干方法,如实视图技术、索引技术以及并行处理技术,重点分析了如何在SQL生成器中处理查询优化,并提出在ROLAP设计和应用中引入缓存... ROLAP相对于MOLAP在处理多维数据性能方面有很多不足。给出ROLAP的体系结构,研究了改进ROLAP系统性能的若干方法,如实视图技术、索引技术以及并行处理技术,重点分析了如何在SQL生成器中处理查询优化,并提出在ROLAP设计和应用中引入缓存机制,进一步提高ROLAP系统的查询性能。 展开更多
关键词 联机分析处理 ROLAP体系结构 查询优化 缓存机制
下载PDF
自适应的数据库查询缓存 被引量:2
11
作者 邱林锋 曹学成 柏文阳 《计算机工程与应用》 CSCD 北大核心 2008年第22期159-161,203,共4页
传统的缓存采取较为机械的管理方法,不能随数据库运行的动态信息调整自身参数以得到更优的性能。数据库语义缓存能够让数据库"理解"查询语义,可以为数据库的动态调节提供信息。而查询缓存是语义缓存的一种,在SQL解析与查询执... 传统的缓存采取较为机械的管理方法,不能随数据库运行的动态信息调整自身参数以得到更优的性能。数据库语义缓存能够让数据库"理解"查询语义,可以为数据库的动态调节提供信息。而查询缓存是语义缓存的一种,在SQL解析与查询执行之间,通过研究查询缓存的自主管理来提高数据库的查询性能。首先介绍了数据库常用的语义缓存与自主计算,然后对查询缓存进行了形式化定义,并提出了自适应的查询缓存模型。最后在MySQL的查询缓存上进行了实验,得到了较好的效果。 展开更多
关键词 数据库 自主计算 语义缓存 查询缓存
下载PDF
Hibernate的缓存机制及其应用的研究 被引量:2
12
作者 曹伟 应君 董黎刚 《杭州电子科技大学学报(自然科学版)》 2013年第5期158-161,共4页
Hibernate是一个现下较流行的对象关系映射框架,它对JDBC进行了轻量的封装,从此Java开发人员对关系数据库的操作变得十分轻松。Hibernate的缓存机制为数据库操作优化提供了一套很好的解决方案。利用其缓存机制可有效的提高数据库读写效... Hibernate是一个现下较流行的对象关系映射框架,它对JDBC进行了轻量的封装,从此Java开发人员对关系数据库的操作变得十分轻松。Hibernate的缓存机制为数据库操作优化提供了一套很好的解决方案。利用其缓存机制可有效的提高数据库读写效率,提升软件性能。经过实际的使用和研究,该文将介绍Hibernate的缓存机制以及应用。 展开更多
关键词 对象关系映射框架 缓存 二级缓存 查询缓存
下载PDF
语义OLAP缓存技术研究 被引量:2
13
作者 游进国 董朋志 +3 位作者 胡宝丽 王洋 丁家满 贾连印 《小型微型计算机系统》 CSCD 北大核心 2015年第7期1470-1475,共6页
针对页面缓存,元组缓存,语义缓存等查询缓存技术不能充分利用OLAP较一般SQL查询所具有更强的语义和上下文相关性的特性,提出一种新的OLAP查询缓存技术语义OLAP缓存.该缓存模型只存储等价类所代表的集合信息,而不是大量单个数据单元或数... 针对页面缓存,元组缓存,语义缓存等查询缓存技术不能充分利用OLAP较一般SQL查询所具有更强的语义和上下文相关性的特性,提出一种新的OLAP查询缓存技术语义OLAP缓存.该缓存模型只存储等价类所代表的集合信息,而不是大量单个数据单元或数据元组信息.随着查询过程的深入,缓存项的等价类范围动态更新,可在保持缓存大小不变的情况下,扩展等价类范围,从而回答更多查询并提高命中率.此外还提出根据缓存项间的上卷、下钻关系将缓存项连接在一起形成代数格结构,以方便剪枝,从而进一步缩小查找范围.实验结果充分证明了该缓存模型和算法的有效性. 展开更多
关键词 数据仓库 联机分析处理 查询缓存 商立方体 查询
下载PDF
Query Acceleration of Graph Databases by ID Caching Technology 被引量:1
14
作者 Wei Jiang Hai-Bo Hu Liu-Gen Xu 《Journal of Electronic Science and Technology》 CAS CSCD 2019年第1期41-50,共10页
In this paper, we approach the design of ID caching technology(IDCT) for graph databases, with the purpose of accelerating the queries on graph database data and avoiding redundant graph database query operations whic... In this paper, we approach the design of ID caching technology(IDCT) for graph databases, with the purpose of accelerating the queries on graph database data and avoiding redundant graph database query operations which will consume great computer resources. Traditional graph database caching technology(GDCT)needs a large memory to store data and has the problems of serious data consistency and low cache utilization. To address these issues, in the paper we propose a new technology which focuses on ID allocation mechanism and high-speed queries of ID on graph databases. Specifically, ID of the query result is cached in memory and data consistency is achieved through the real-time synchronization and cache memory adaptation. In addition, we set up complex queries and simple queries to satisfy all query requirements and design a mechanism of cache replacement based on query action time, query times, and memory capacity, thus improving the performance furthermore.Extensive experiments show the superiority of our techniques compared with the traditional query approach of graph databases. 展开更多
关键词 cache graph DATABASE query efficiency
下载PDF
Monitoring nearest neighbor queries with cache strategies 被引量:1
15
作者 PAN Peng LU Yan-sheng 《Journal of Zhejiang University-Science A(Applied Physics & Engineering)》 SCIE EI CAS CSCD 2007年第4期529-537,共9页
The problem of continuously monitoring multiple K-nearest neighbor (K-NN) queries with dynamic object and query dataset is valuable for many location-based applications. A practical method is to partition the data spa... The problem of continuously monitoring multiple K-nearest neighbor (K-NN) queries with dynamic object and query dataset is valuable for many location-based applications. A practical method is to partition the data space into grid cells, with both object and query table being indexed by this grid structure, while solving the problem by periodically joining cells of objects with queries having their influence regions intersecting the cells. In the worst case, all cells of objects will be accessed once. Object and query cache strategies are proposed to further reduce the I/O cost. With object cache strategy, queries remaining static in current processing cycle seldom need I/O cost, they can be returned quickly. The main I/O cost comes from moving queries, the query cache strategy is used to restrict their search-regions, which uses current results of queries in the main memory buffer. The queries can share not only the accessing of object pages, but also their influence regions. Theoretical analysis of the expected I/O cost is presented, with the I/O cost being about 40% that of the SEA-CNN method in the experiment results. 展开更多
关键词 K-nearest neighbors (K-NNs) Continuous query Object cache query cache
下载PDF
Semantic Cache Replacement Strategy for XML Algebra-Based Query Optimization 被引量:1
16
作者 XU Fangfang LI Yaoyao GU Jinguang 《Wuhan University Journal of Natural Sciences》 CAS CSCD 2015年第2期165-172,共8页
Aiming at the fact that traditional cache replacement strategy lacks pertinence to the semantic cache in the process of extensible markup language (XML) algebra query, a replacement strategy based on the semantic ca... Aiming at the fact that traditional cache replacement strategy lacks pertinence to the semantic cache in the process of extensible markup language (XML) algebra query, a replacement strategy based on the semantic cache contribution value is proposed. First, pattern matching rules for XML algebra query and semantic caches are given. Second, the method of calculating the semantic cache contribution value is proposed. In XML documents with four different sizes, the experimental results of time efficiency show that this strategy supports environment of the XML algebra query and it has better time efficiency than both least frequency used (LFU) and least recently used (LRU). 展开更多
关键词 cache pattern matching XML algebra query replacement strategy
原文传递
Java对象持久化层的检索性能优化研究 被引量:1
17
作者 肖燕娟 《现代计算机》 2008年第6期164-166,177,共4页
分析Java对象持久化层数据检索策略中内存浪费的原因,提出采用查询缓存和集合过滤的方法进行查询优化,降低了访问数据库的频率且避免了在数据查询检索过程中加载不需要的Java对象,从而降低了内存消耗。通过查询电子商务系统中客户的订... 分析Java对象持久化层数据检索策略中内存浪费的原因,提出采用查询缓存和集合过滤的方法进行查询优化,降低了访问数据库的频率且避免了在数据查询检索过程中加载不需要的Java对象,从而降低了内存消耗。通过查询电子商务系统中客户的订单记录试验验证了优化方式的有效性。 展开更多
关键词 HIBERNATE 查询缓存 集合过滤 客户 订单
下载PDF
基于紧缩状态表的高效数据定位方法 被引量:1
18
作者 李东升 王意洁 +1 位作者 江雪阳 郑静 《计算机工程与科学》 CSCD 2006年第11期24-26,共3页
数据定位是松散式P2P系统面临的挑战性难题。本文提出了一种新的数据定位方法——紧缩状态表方法(CSTM)。在CSTM中,每个结点上维护一个状态表,保存了T跳(Hop)内全部邻居上数据的关键字信息,各个结点按照状态表来转发数据定位消息。CSTM... 数据定位是松散式P2P系统面临的挑战性难题。本文提出了一种新的数据定位方法——紧缩状态表方法(CSTM)。在CSTM中,每个结点上维护一个状态表,保存了T跳(Hop)内全部邻居上数据的关键字信息,各个结点按照状态表来转发数据定位消息。CSTM方法采用BloomFilter技术来压缩表示状态表,采用查询Cache建立与最近访问的结点之间的快捷连接。模拟结果表明,与广播泛洪和二路随机转发方法相比,CSTM方法大大减低了P2P网络中数据定位的消息开销,并能够获得较短的查询路径长度。 展开更多
关键词 P2P系统 数据定位 查询cache
下载PDF
语义缓存技术的研究 被引量:1
19
作者 涂建新 游进国 +1 位作者 周水力 丁军帅 《计算机技术与发展》 2013年第9期178-181,185,共5页
语义缓存技术一直以来是数据库研究的热点之一。语义缓存是指将用户向服务器端提交的查询语句和查询实际得到的结果数据同一存储在指定的缓存中,因而其不仅包含有数据,还有对数据的相关描述信息,从而可以提高查询效率。在语义缓存之前,... 语义缓存技术一直以来是数据库研究的热点之一。语义缓存是指将用户向服务器端提交的查询语句和查询实际得到的结果数据同一存储在指定的缓存中,因而其不仅包含有数据,还有对数据的相关描述信息,从而可以提高查询效率。在语义缓存之前,还存在页面缓存、元组缓存、块缓存等缓存技术。文中首先介绍语义缓存的模型,然后阐述和分析语义缓存查询匹配算法和缓存替换策略,最后对语义缓存技术进行总结,从而为语义缓存技术的进一步研究提供一定的理论基础。 展开更多
关键词 语义缓存 查询匹配 缓存替换
下载PDF
查询分割的用户协作隐私保护方法 被引量:1
20
作者 王斌 张国印 张磊 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2020年第4期569-576,共8页
针对用户协作隐私保护方法忽略个性化隐私且无法有效的应对连续查询的问题,本文提出了一种用户协作的隐私保护方法。该方法采用用户查询信息进行分割随机交换,同时对查询结果缓存来提供连续服务结果的隐私保护。该方法一方面能够为用户... 针对用户协作隐私保护方法忽略个性化隐私且无法有效的应对连续查询的问题,本文提出了一种用户协作的隐私保护方法。该方法采用用户查询信息进行分割随机交换,同时对查询结果缓存来提供连续服务结果的隐私保护。该方法一方面能够为用户提供快照和连续查询下的基于位置服务的隐私保护;另一方面能够同时提供个性化的隐私保护服务,最大程度的保障了所有协作用户对于隐私保护和服务质量的平衡要求。本文通过安全性分析验证了所提出的算法的隐私保护能力,并通过实验验证进一步证明了该方法在提供高于其他同类算法隐私保护能力基础上,具有更好的算法执行效率。 展开更多
关键词 基于位置服务 隐私保护 用户协作 查询分割 快照和连续查询 个性化隐私 缓存 服务质量平衡
下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部