多核处理器环境下内存数据库索引性能分析 被引量：9

1

作者 郭超 李坤 +2 位作者 王永炎 刘胜航 王宏安 《计算机学报》 EI CSCD 北大核心 2010年第8期1512-1522,共11页

从20世纪80年代内存数据库出现时的T树到21世纪初出现的缓存感知的CSS、CSB+树等,都适应了当时的硬件发展趋势,具有一定的性能优势.随着计算机硬件技术的进一步发展,尤其是多核技术的应用与推广,新的多核处理器在提高索引性能的同时又... 从20世纪80年代内存数据库出现时的T树到21世纪初出现的缓存感知的CSS、CSB+树等,都适应了当时的硬件发展趋势,具有一定的性能优势.随着计算机硬件技术的进一步发展,尤其是多核技术的应用与推广,新的多核处理器在提高索引性能的同时又给内存索引结构提出了新的挑战.文中对B+树、T树、CSS树、CSB+树等几个经典的内存索引结构在多核处理器环境下的性能进行了全面的实验测试,对其在多核处理器环境下不同数据输入、不同节点大小等多种情况下的性能构成与差异进行了比较和分析,总结了在多核处理器中影响索引性能的关键因素,为内存索引结构的进一步改进奠定了坚实的基础. 展开更多

关键词 内存索引结构 多核处理器 缓存感知

下载PDF 职称材料

面向内存数据库的类字典树索引综述与性能比较

2

作者 储召乐 罗永平 金培权 《计算机学报》 EI CAS CSCD 北大核心 2024年第9期2009-2034,共26页

如何快速存取海量数据是大数据时代数据库系统面临的重大挑战.利用大内存构建内存数据库系统是实现大数据实时存取的可行途径.在此背景下,用于加速内存数据存取的内存数据库索引成为近几年国内外的研究热点.但是,内存数据库索引也面临... 如何快速存取海量数据是大数据时代数据库系统面临的重大挑战.利用大内存构建内存数据库系统是实现大数据实时存取的可行途径.在此背景下,用于加速内存数据存取的内存数据库索引成为近几年国内外的研究热点.但是,内存数据库索引也面临着诸多挑战.以常见的内存B+树索引为例,第一个问题是索引的空间效率较低,这是因为内存B+树索引的节点内部存在较大的空间浪费;第二个问题是索引的查询复杂度较高,B+树的查询复杂度受限于数据规模,随着数据规模的扩张,索引的搜索效率也会下降;第三个问题是变长数据支持弱,B+树对于变长键的支持比较差,往往难以适应实际应用的需要.近年来,由于字典树具有空间代价低、查询效率与数据规模无关、支持变长键等优点,逐步成为了内存数据库索引研究中的一个主要方向.本论文围绕面向内存数据库的类字典树索引,首先介绍了字典树的概念、特点和历史,然后系统梳理和总结了类字典树索引的现状和最新进展,之后提出了一种全新的分类方法对类字典树索引进行了分类.在此基础上,论文对主流的六种类字典树索引进行了实验,在多个数据集和负载上进行了性能对比,并基于实验结果讨论了类字典树索引的设计和使用建议,最后展望了未来类字典树索引的发展方向. 展开更多

关键词 内存数据库 字典树索引 性能对比

下载PDF 职称材料

主存OLAP系统中what-if查询处理策略 被引量：3

3

作者 张延松 肖艳芹 +1 位作者 王珊 陈红 《软件学报》 EI CSCD 北大核心 2010年第10期2494-2512,共19页

What-If分析能够提供比传统的OLAP(on-line analysis processing)分析更加有意义的决策支持信息.基于历史数据的应用场景假设分析需要更加有效的what-if数据视图生成机制的支持.在传统的delta表合并算法的基础上,提出了基于内存记录指针... What-If分析能够提供比传统的OLAP(on-line analysis processing)分析更加有意义的决策支持信息.基于历史数据的应用场景假设分析需要更加有效的what-if数据视图生成机制的支持.在传统的delta表合并算法的基础上,提出了基于内存记录指针的deltaMap算法来提高what-if数据视图的合并性能.根据OLAP分析的应用特点,提出了pre-merge算法来处理支持分布式计算的聚集运算.根据不同的假设更新类型,对查询重写算法和△cube算法作了详细的性能测试并进行了全面的性能分析对比,在此基础上提出了what-if分析的代价模型,以应用场景模式、假设更新率、假设更新复杂度、查询结果集的基数作为参数,有效地描述系统what-if查询处理策略,为what-if分析的解决方案提供了一个可行的框架结构. 展开更多

关键词 WHAT-IF分析 内存数据库 delta表 查询重写 deltaMap索引 pre-merge算法

下载PDF 职称材料

内存数据库的一种数据组织方式 被引量：1

4

作者 罗青松 罗蕾 《计算机应用》 CSCD 北大核心 2008年第B06期318-320,323,共4页

近年来,电信和金融领域的主要应用已经变成数据密集型应用,数据库系统在其中扮演了关键的角色。但传统的基于磁盘的关系数据库系统却不能满足上述应用高性能、实时/近实时数据访问的要求,内存数据库系统则可以很好地满足各种应用系统的... 近年来,电信和金融领域的主要应用已经变成数据密集型应用,数据库系统在其中扮演了关键的角色。但传统的基于磁盘的关系数据库系统却不能满足上述应用高性能、实时/近实时数据访问的要求,内存数据库系统则可以很好地满足各种应用系统的实时数据管理需求。介绍了内存数据库的一种内部数据组织方式,并对各种核心对象的存储及数据结构进行了分析。 展开更多

关键词 内存数据库 记录 索引

下载PDF 职称材料

基于Realms的主存R树索引的实现 被引量：1

5

作者 李萍 《计算机应用》 CSCD 北大核心 2003年第5期94-97,共4页

为了充分发挥主存数据库技术的优越性,提高系统性能,需要使用空间索引,并将索引也放在主存中。R树类是目前空间数据索引的研究热点,具有动态性及构造和维护的简单性,在基本R树索引的基础上便于作各种算法改进,文中开发的基于Realms的空... 为了充分发挥主存数据库技术的优越性,提高系统性能,需要使用空间索引,并将索引也放在主存中。R树类是目前空间数据索引的研究热点,具有动态性及构造和维护的简单性,在基本R树索引的基础上便于作各种算法改进,文中开发的基于Realms的空间分析数据库管理系统SADBS中实现了主存R树索引的创建及插入、删除、更新、查询等操作。 展开更多

关键词 主存R树 索引 REALMS SADBS

下载PDF 职称材料

可持久化CSB+-树索引技术研究 被引量：1

6

作者 王胜 秦小麟 +2 位作者 沈尧 李博涵 史文浩 《计算机科学与探索》 CSCD 北大核心 2015年第2期182-192,共11页

现有主存索引方案为实现重用功能仅将更新操作存储到硬盘中,根据操作序列进行索引恢复,实时性和重用性均较差。为进一步提升重用性和实时性,提出了一种可持久化的CSB+-树(cache sensitive B+-tree)索引方案。该方案基于内存映射技术,完... 现有主存索引方案为实现重用功能仅将更新操作存储到硬盘中,根据操作序列进行索引恢复,实时性和重用性均较差。为进一步提升重用性和实时性,提出了一种可持久化的CSB+-树(cache sensitive B+-tree)索引方案。该方案基于内存映射技术,完整而高效地将索引结构保存到外存中,导入时无需重复创建索引,可节省大量计算资源。针对索引更新过程中出现大量内存碎片问题,采用一种分类内存管理机制进行管理和监视,当内存碎片过多而无法利用时,基于有序键值对进行索引重构以完全消除内存碎片。实验结果表明,所提方案与现有方案相比具有更好的实时性和重用性,同时具有高效的查询处理能力。 展开更多

关键词 主存索引 持久化 CSB+-树 内存映射 索引头

下载PDF 职称材料

基于内存空间数据库的空气质量实时监测系统 被引量：1

7

作者 赫高进 易天洋 +2 位作者 薛晨曦 陈荦 景宁 《计算机研究与发展》 EI CSCD 北大核心 2015年第S1期149-153,共5页

空气污染是与地理信息密切相关的环境问题,现有环境监测系统在面向地理信息的处理和可视化方面效果不佳,且存在实时性差的问题.为了满足实时存储与查询性能,基于内存数据库实现了空间扩展,使之支持时空数据流的存储与索引.采用磁盘空间... 空气污染是与地理信息密切相关的环境问题,现有环境监测系统在面向地理信息的处理和可视化方面效果不佳,且存在实时性差的问题.为了满足实时存储与查询性能,基于内存数据库实现了空间扩展,使之支持时空数据流的存储与索引.采用磁盘空间数据库存储历史数据,提供对历史数据的查询与分析功能.设计实现了空气质量实时监测系统,对监测数据流进行实时处理与可视化,并能有效应对多用户并发查询.可视化模块能够实时展示空气质量在地理空间上的连续分布情况,支持二维和三维2种可视化方式,具有跨平台的特点. 展开更多

关键词 内存数据库 空气监测 实时 空间索引 三维

下载PDF 职称材料

DCST:主存空间高效的缓存敏感型T-树索引研究

8

作者 史太齐 刘亮 秦小麟 《计算机科学与探索》 CSCD 北大核心 2017年第2期221-230,共10页

已有主存索引通过指针消除和预取机制提升索引结构的缓存感知能力,减少缓存失效次数,但是并没有有效地利用现代计算机的CPU性能和内存空间。为了进一步提升索引结构对内存空间以及CPU性能的利用率,提出了DCST-树索引结构。该索引结构采... 已有主存索引通过指针消除和预取机制提升索引结构的缓存感知能力,减少缓存失效次数,但是并没有有效地利用现代计算机的CPU性能和内存空间。为了进一步提升索引结构对内存空间以及CPU性能的利用率,提出了DCST-树索引结构。该索引结构采用数据压缩的方式,对结点中的关键字进行压缩,提高索引结构对内存空间和缓存空间的利用率,减少内存访问次数,提高缓存命中率。同时,对结点进行分区,增加结点容量,提高结点扇出度,降低树的高度。实验结果表明,所提方案比现有主存索引机制具有更加高效的空间利用率和缓存感知能力,同时具有更加优秀的查询处理能力。 展开更多

关键词 压缩 主存索引 缓存敏感

下载PDF 职称材料

高维主存kNN连接索引结构的核心算法

9

作者 刘艳 郝忠孝 《计算机科学》 CSCD 北大核心 2011年第9期146-149,共4页

kNN(k最近邻)连接是高维数据库中的一种重要但代价昂贵的基本操作。随着RAM容量越来越大且价格逐渐低廉,更多的数据集能够被装入主存。如何实现快速主存kNN连接,引起人们的关注。索引Δ-tree-R和-Δtree-S是根据kNN连接的特点专门为主存... kNN(k最近邻)连接是高维数据库中的一种重要但代价昂贵的基本操作。随着RAM容量越来越大且价格逐渐低廉,更多的数据集能够被装入主存。如何实现快速主存kNN连接,引起人们的关注。索引Δ-tree-R和-Δtree-S是根据kNN连接的特点专门为主存kNN连接设计的索引。结合编码、节点中心重合技术,给出了构建Δ-tree-R和-Δtree-S的核心算法及相关证明,实验表明,基于该索引的主存kNN连接算法-Δtree-KNN-Join明显优于目前已存在的可用于主存的kNN连接算法Gorder。 展开更多

关键词 kNN连接 高维空间 主存 索引结构 kNN搜索

下载PDF 职称材料

嵌入式内存数据库的存储和索引算法研究 被引量：4

10

作者 宋玲 杨雪君 马兰 《计算机科学与探索》 CSCD 2010年第8期742-748,共7页

提出了用于嵌入式内存数据库的更高效的数据存储算法(EHAS)和索引算法(PMCT-tree)。EHAS算法是基于区-段式,结合类可扩散列的思想,将记录以唯一对应的三元组作为区标号、段标号、地址标号来定位存储的算法。PMCT-tree比典型的T树增加了... 提出了用于嵌入式内存数据库的更高效的数据存储算法(EHAS)和索引算法(PMCT-tree)。EHAS算法是基于区-段式,结合类可扩散列的思想,将记录以唯一对应的三元组作为区标号、段标号、地址标号来定位存储的算法。PMCT-tree比典型的T树增加了一种多路分支目录(PMC),它是由T树节点中抽取出的部分边缘阈值构成的。测试结果表明,EHAS算法加快了存储响应时间,且在一定条件下其平均查询时间复杂度可达到常数级;PMCT-tree算法在有效性和查询响应时间上性能良好。 展开更多

关键词 嵌入式内存数据库 T树 索引 类可扩散列 区-段式

下载PDF 职称材料

一个内存数据库管理系统的数据组织 被引量：11

11

作者 卢炎生 潘怡 +1 位作者 赵栋 谢晓东 《华中理工大学学报》 CSCD 北大核心 1999年第10期64-66,共3页

在分析多种内存数据库概念的基础上，给出了新的内存数据库的形式定义，提出了内存数据库的一种数据组织结构，在Ｔ树的基础上，经过改造开发了一个在自行研制的主动实时ＤＢＭＳ原型系统中实现的索引结构Ｔ树，着重讨论了其严格的定... 在分析多种内存数据库概念的基础上，给出了新的内存数据库的形式定义，提出了内存数据库的一种数据组织结构，在Ｔ树的基础上，经过改造开发了一个在自行研制的主动实时ＤＢＭＳ原型系统中实现的索引结构Ｔ树，着重讨论了其严格的定义和操作算法． 展开更多

关键词 内存数据库 截止时间 数据组织 数据库管理系统

下载PDF 职称材料

基于内存数据库Redis的轻量级矢量地理数据组织 被引量：26

12

作者 朱进 胡斌 +3 位作者 邵华 罗青 江南 张景云 《地球信息科学学报》 CSCD 北大核心 2014年第2期165-172,共8页

矢量地理数据的高效组织管理是空间数据应用的关键问题之一。矢量地理数据服务作为一种重要的公众空间信息服务,已经得到广泛应用。公众对矢量地理数据服务性能提出了越来越高的要求,包括实时响应、高并发、高吞吐量等。当前的矢量地理... 矢量地理数据的高效组织管理是空间数据应用的关键问题之一。矢量地理数据服务作为一种重要的公众空间信息服务,已经得到广泛应用。公众对矢量地理数据服务性能提出了越来越高的要求,包括实时响应、高并发、高吞吐量等。当前的矢量地理数据服务后台数据存储组织,通常基于磁盘和关系数据库,其在面对公众日益增长的需求时已经显得力不从心。本文提出了一种以内存数据库Redis的轻量级矢量地理组织方法,能在高并发情况下有效提高矢量地理数据服务性能。论文首先分析了Redis的存储机制,设计了矢量地理数据库的分层组织模型,利用Redis丰富的数据结构对矢量地理数据及其相关元数据进行存储管理,然后,以网格索引为例,设计了Redis的空间索引,最后,设计Redis的矢量数据引擎原型系统,并进行了实验验证。结果表明,Redis的矢量地理数据库显著提高了响应速度,且并发性能更好,可广泛应用于大型空间数据库前端高速缓存和高性能空间索引库。 展开更多

关键词 内存数据库 键值数据库 矢量地理数据 空间索引

原文传递

主存空间对象的索引方法 被引量：13

13

作者 刘东 李琦 承继成 《环境遥感》 CSCD 1996年第4期302-308,共7页

空间索引关系到空间数据库和地理信息系统的整体性能。目前，随着计算机主存价格的迅速下降，发展主存空间数据库已经成为可能。主存空间数据库需要相适应的空间索引。本文设计两种面向主存的空间索引──主存网格索引和主存Ｆ_树索引... 空间索引关系到空间数据库和地理信息系统的整体性能。目前，随着计算机主存价格的迅速下降，发展主存空间数据库已经成为可能。主存空间数据库需要相适应的空间索引。本文设计两种面向主存的空间索引──主存网格索引和主存Ｆ_树索引，并对两者的性能进行比较。在多数应用环境下，Ｆ_树空间索引性能更优。 展开更多

关键词 空间数据库 空间索引 GIS 空间对象

原文传递

一种内存数据库定义及相关技术探讨 被引量：7

14

作者 吴绍春 胡国玲 +1 位作者 李国辉 舒良才 《江汉石油学院学报》 CSCD 北大核心 1996年第4期91-94,98,共5页

通过对一个支持主动实时事务的内存数据库系统ＡＲＴＳ—ＭＭＤＢＳ的研究，给出了一种合理的内存数据库定义，认为判断一个数据库是否为内存数据库的标准应该是看其数据库的主拷贝是否常驻内存，而不能取决于内存的大小和存取数据所需... 通过对一个支持主动实时事务的内存数据库系统ＡＲＴＳ—ＭＭＤＢＳ的研究，给出了一种合理的内存数据库定义，认为判断一个数据库是否为内存数据库的标准应该是看其数据库的主拷贝是否常驻内存，而不能取决于内存的大小和存取数据所需的Ｉ／Ｏ次数及数据被调入内存的时机。对内存数据库的物理组织、存取方法、并发控制及数据库恢复等相关技术进行了探讨，提出了一种适合内存直接存取特性的数据组织方法及索引组织结构。 展开更多

关键词 数据库 数据组织 数据处理 定义

下载PDF 职称材料

一个适用于内存数据库系统的多维索引结构 被引量：6

15

作者 马洪连 杨波 姚建伟 《计算机工程与应用》 CSCD 北大核心 2003年第29期211-213,共3页

树形结构一直都是数据库系统中建立多维索引最有效的方法之一,其中比较流行的有k-d树,R树等。但是对于内存空间极为宝贵的内存数据库来说,它们都有浪费内存的缺点。而T树作为内存数据库最常使用的一维索引结构,具有存取速度快,节约空间... 树形结构一直都是数据库系统中建立多维索引最有效的方法之一,其中比较流行的有k-d树,R树等。但是对于内存空间极为宝贵的内存数据库来说,它们都有浪费内存的缺点。而T树作为内存数据库最常使用的一维索引结构,具有存取速度快,节约空间的优点,但是对于多维索引的情况它的效率却不高。该文首先介绍了k-d树,R树的特点及缺点,然后介绍T树的特点,操作和在多维条件下的缺陷,并提出了一种网格+T树的结构对其进行改进,从而使它适用于多维索引的情况。 展开更多

关键词 内存数据库 索引 K-D树 R树 T树 网格文件

下载PDF 职称材料

内存数据库索引技术研究 被引量：8

16

作者 邹乐天 《电脑与信息技术》 2007年第3期29-32,共4页

内存数据库已经成为了当今数据库研究的热点,而索引能够极大地提高数据库操作的性能。文章介绍了内存数据库发展至今比较成熟的一些索引结构,并在查找时间上对它们进行了对比分析,总结了结构特点和分析数据之后的结论表明,CSS树索引和CS... 内存数据库已经成为了当今数据库研究的热点,而索引能够极大地提高数据库操作的性能。文章介绍了内存数据库发展至今比较成熟的一些索引结构,并在查找时间上对它们进行了对比分析,总结了结构特点和分析数据之后的结论表明,CSS树索引和CSB树索引有着最好的缓存意识,同时还具有很高的查找速度和空间利用率。 展开更多

关键词 内存数据库 索引 CSS树 CSB树

下载PDF 职称材料

用于RFID中间件的内存数据库结构研究 被引量：5

17

作者 喻剑 赖声礼 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2008年第6期578-582,共5页

内存数据库(MMDB)是射频标签(RFID)中间件能够实现实时过滤、分组、计数等操作的关键.针对大规模RFID应用中通用的以T树为索引结构的MMDB不能得到很好的效率的问题,在详细分析RFID应用的数据特性的基础上,总结出RFID应用的数据及其操作... 内存数据库(MMDB)是射频标签(RFID)中间件能够实现实时过滤、分组、计数等操作的关键.针对大规模RFID应用中通用的以T树为索引结构的MMDB不能得到很好的效率的问题,在详细分析RFID应用的数据特性的基础上,总结出RFID应用的数据及其操作特征,提出一种全新的算法,并改进了MMDB的索引结构.算法与MMDB的索引结构相结合,使得内存数据库在支持所有符合EPC Global标准的接口操作的基础上,将需要保存的数据量减少到最低,能保证每个标签只有一条记录.在RFID应用所特有的大量范围查询上,查询的时间复杂度降低到了O(n). 展开更多

关键词 内存数据库 射频标签 实时内存数据库 索引结构 T树

下载PDF 职称材料

内存数据库在ZY1-02C海量数据空间检索中的应用 被引量：5

18

作者 王彦佐 周伟 冯磊 《国土资源遥感》 CSCD 北大核心 2018年第1期238-242,共5页

实现海量空间数据的高效检索是资源一号02C(ZY1-02C)卫星数据应用的重要前提。在传统基于关系型数据库的空间查询模式中,频繁的磁盘I/O及内外存交换对查询性能有较大影响,而完全基于内存的内存数据库技术可有效规避这一问题,显著提升效... 实现海量空间数据的高效检索是资源一号02C(ZY1-02C)卫星数据应用的重要前提。在传统基于关系型数据库的空间查询模式中,频繁的磁盘I/O及内外存交换对查询性能有较大影响,而完全基于内存的内存数据库技术可有效规避这一问题,显著提升效率。基于Key-Value型内存数据库Redis,研究并设计了矢量数据在Redis中的存储结构,并实现了基于Key-Value型存储结构的空间R树索引。经实际应用检验,该存储及索引架构能够有效提升海量空间数据的查询检索性能。 展开更多

关键词 内存数据库 空间索引 矢量数据

下载PDF 职称材料

图形处理器上内存数据库索引T-树的研究 被引量：3

19

作者 刘勇 奚建清 +2 位作者 黄东平 贾连印 苗德成 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2013年第3期22-28,共7页

为进一步提高内存数据库索引结构T-树的操作性能,提出一种基于图形处理器的T-树无锁并行计算方案.该方案通过分析平衡树结构的父子节点间的关系,在图形处理器平台上实现使用m个线程并行创建具有m个节点的T-树索引,从而以最大并行度的方... 为进一步提高内存数据库索引结构T-树的操作性能,提出一种基于图形处理器的T-树无锁并行计算方案.该方案通过分析平衡树结构的父子节点间的关系,在图形处理器平台上实现使用m个线程并行创建具有m个节点的T-树索引,从而以最大并行度的方式构建T-树.为验证方案的正确性,提出以堆栈的方式在图形处理器上遍历T-树的算法,对各平台上构建T-树的方案进行性能分析,并通过页锁定内存的方式提高CPU和GPU间的数据传输速率.通过对多个处理器平台上的实验结果的对比发现,提出的方案在并行构建T-树和T-树的批量节点插入上相比于传统CPU平台方案分别获得12倍和8倍以上的加速比. 展开更多

关键词 图形处理器 T-树 内存数据库 索引结构 并行构建 批量节点插入

下载PDF 职称材料

内存数据库与Oracle数据库的数据同步设计与实现 被引量：3

20

作者 雷明涛 李绪福 《信息化研究》 2015年第2期61-65,共5页

本文通过分析传统磁盘存储介质的数据库和内存数据库的优缺点,提出了一种内存数据库与Oracle数据库混合组网系统中数据库同步解决方案。该方案构建了一套由两台内存数据库服务器和一台Oracle数据库服务器组成的低成本、支持高实时性和... 本文通过分析传统磁盘存储介质的数据库和内存数据库的优缺点,提出了一种内存数据库与Oracle数据库混合组网系统中数据库同步解决方案。该方案构建了一套由两台内存数据库服务器和一台Oracle数据库服务器组成的低成本、支持高实时性和高并发性的混合组网数据库系统,内存数据库作为Oracle数据库的"工作版本"在前台对外提供服务,Oracle数据库在后台作为内存数据库的"固化版本",设计了一套基于数据字典的内存数据库加载和基于变更数据索引表的前后台数据库同步机制,使得前后台数据库以及前台内存数据库的两个结点之间保持良好的一致性。 展开更多

关键词 内存数据库 ORACLE数据库 数据同步 数据字典 变更数据索引

下载PDF 职称材料