期刊文献+
共找到10篇文章
< 1 >
每页显示 20 50 100
面向云端Key/Value存储系统的开销敏感的数据迁移方法 被引量:8
1
作者 秦秀磊 张文博 +4 位作者 王伟 魏峻 赵鑫 钟华 黄涛 《软件学报》 EI CSCD 北大核心 2013年第6期1403-1417,共15页
Key/Value存储系统在大规模、高性能云应用支撑方面扮演了重要的角色,对云端Key/Value存储系统而言,数据迁移是实现节点动态扩展与弹性负载均衡的关键技术.如何降低迁移开销,是云服务提供商需着力解决的问题.已有研究工作大多针对非虚... Key/Value存储系统在大规模、高性能云应用支撑方面扮演了重要的角色,对云端Key/Value存储系统而言,数据迁移是实现节点动态扩展与弹性负载均衡的关键技术.如何降低迁移开销,是云服务提供商需着力解决的问题.已有研究工作大多针对非虚拟化环境下的数据迁移问题,这些方法对于云端Key/Value存储系统而言往往并不适用.为应对上述挑战,将数据迁移问题纳入负载均衡场景解决.提出一种基于面积的迁移开销模型,该模型可以有效感知底层VM性能干扰状况,权衡迁移时间与性能衰减值.进一步提出一种开销敏感的数据迁移算法,该算法基于开销模型与均衡度制订数据迁移计划,选取最优的迁移操作.基于雅虎的云服务基准测试工具YCSB验证了该方法的有效性. 展开更多
关键词 数据迁移 KEY value存储 VM性能干扰 迁移开销
下载PDF
数据库与MapReduce融合的大数据管理技术探索 被引量:4
2
作者 张延松 《科研信息化技术与应用》 2013年第1期19-29,共11页
大数据管理是随着时代和技术发展而提出和演化的命题。随着大数据从传统的结构化数据向无结构化数据的转移,Key/value存储、NoSQL、MapReduce等技术成为数据库技术之外大数据管理的多样化手段。MapReduce以其开放性成为当前大数据的代... 大数据管理是随着时代和技术发展而提出和演化的命题。随着大数据从传统的结构化数据向无结构化数据的转移,Key/value存储、NoSQL、MapReduce等技术成为数据库技术之外大数据管理的多样化手段。MapReduce以其开放性成为当前大数据的代表技术,在大数据应用中,如何让MapReduce与数据库高效协同,发挥各自的技术优势和平台优势,提供高性能、高可扩展性、高可用性的大数据服务平台成为重要的研究课题。本文讨论在大数据存储、管理与服务主题上的观点和技术路线,探索将MapReduce作为数据库新的应用与开发平台的可行性。 展开更多
关键词 大数据 KEY value存储 MAPREDUCE 大数据仓库
原文传递
支持大数据管理的NoSQL系统研究综述 被引量:193
3
作者 申德荣 于戈 +2 位作者 王习特 聂铁铮 寇月 《软件学报》 EI CSCD 北大核心 2013年第8期1786-1803,共18页
针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑... 针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望. 展开更多
关键词 NOSQL key-value存储 大数据管理
下载PDF
云计算技术及其应用 被引量:19
4
作者 赵培 陆平 罗圣美 《中兴通讯技术》 2010年第4期36-39,共4页
云计算主要基于资源虚拟和分布式并行架构两大核心技术。在虚拟化技术方面,文章探讨了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术,以及异构的虚拟化云计算平台的建设和应用。在分布式技术方... 云计算主要基于资源虚拟和分布式并行架构两大核心技术。在虚拟化技术方面,文章探讨了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术,以及异构的虚拟化云计算平台的建设和应用。在分布式技术方面,文章探讨了分布式文件系统和Key/Value存储引擎技术。对于分布式文件系统,提出主机"瓶颈"解决方案及存储接口标准化的想法;对于Key/Value存储引擎,提出目录化存储的解决方案。 展开更多
关键词 虚拟化 分布式计算 云管理平台 Key/value存储引擎
下载PDF
NoSQL数据库与缓存一致性研究 被引量:3
5
作者 叶文 《信息与电脑》 2018年第21期143-144,共2页
随着大数据技术的发展,数据库系统面临数据的高并发读写和海量数据的存储,而传统的关系型数据库不能满足这方面的需求。NoSQL因其高扩展性、高性能、容错性、高伸缩性,在大数据管理中被广泛采用。由于NoSQL不再遵循数据库ACID原则,使得... 随着大数据技术的发展,数据库系统面临数据的高并发读写和海量数据的存储,而传统的关系型数据库不能满足这方面的需求。NoSQL因其高扩展性、高性能、容错性、高伸缩性,在大数据管理中被广泛采用。由于NoSQL不再遵循数据库ACID原则,使得分布式系统无法同时满足一致性、可用性和分区容错性,Key-Value模型作为NoSQL中被使用得最多的一种存储模型,同样存在着此类问题。基于此,以Redis为例,探讨了NoSQL中持久性存储和缓存之间保持数据一致性的方法。 展开更多
关键词 大数据 NOSQL Key-value存储 一致性
下载PDF
面向分布式GIS空间数据的Key-value缓存 被引量:2
6
作者 涂振发 孟令奎 +1 位作者 张文 黄长青 《武汉大学学报(信息科学版)》 EI CSCD 北大核心 2013年第11期1339-1343,共5页
设计了一种基于Key-value结构的缓存KV-cache,旨在简化数据结构,高效管理缓存数据。KV-cache由Mem-cache和F-cache构成。其中,Mem-cache为第一级缓存,并采用缓存回写机制以异步方式将数据写入F-cache进行持久化存储。F-cache使用大文件... 设计了一种基于Key-value结构的缓存KV-cache,旨在简化数据结构,高效管理缓存数据。KV-cache由Mem-cache和F-cache构成。其中,Mem-cache为第一级缓存,并采用缓存回写机制以异步方式将数据写入F-cache进行持久化存储。F-cache使用大文件存储数据,并构建了基于B树的缓存索引以加快检索速度。数据写入F-cache的位置由基于B树的空闲空间管理器进行分配。在100 Mbps局域网内测试KV-cache读写性能。实验表明,KV-cache读写性能优于传统文件目录方式的缓存,能够安全、高效地管理所缓存的各种空间数据。 展开更多
关键词 分布式GIS 缓存 KV cache Key—value存储 空闲空间管理
原文传递
面向存储网络的融合I/O模拟器设计与实现 被引量:2
7
作者 魏征 黎斐南 +2 位作者 邢晶 霍志刚 孙凝晖 《高技术通讯》 EI CAS 北大核心 2020年第10期983-997,共15页
在现有计算机系统结构中,要实现跨节点的数据存储操作,数据需要先经过本地网卡、远程网卡、远程内存才能到达远程存储设备。这一过程通常还需要远程节点操作系统和应用软件的参与才能完成。随着硬件技术的发展,存储设备的访问延迟大幅... 在现有计算机系统结构中,要实现跨节点的数据存储操作,数据需要先经过本地网卡、远程网卡、远程内存才能到达远程存储设备。这一过程通常还需要远程节点操作系统和应用软件的参与才能完成。随着硬件技术的发展,存储设备的访问延迟大幅下降。为了进一步降低节点数据传输延迟,充分发挥存储设备的性能优势,本文设计了面向网络与存储的融合I/O设备模型UIO,通过让多个功能模块共享存储设备中的内存和数据通路,以简化跨节点数据存储的传输通路优化。并加入辅助计算功能实现数据处理操作,通过与可编程硬件的结合,可以让用户定制辅助计算模块,提高UIO设备的处理效率,扩展应用场景。设计并实现了面向key-value存储系统的UIO设备模拟器,使用4 kB长度value的情况下,与传统数据通路对比,远程put延迟可以降低31%,远程get延迟减少20%。综合指令延迟和指令使用频率对整体操作延迟进行分析,UIO设备在目标场景中预期可以达到比传统数据通路更低的延迟。 展开更多
关键词 设备融合 模拟器 key-value存储 可编程硬件
下载PDF
基于Linux内核的Key-Value存储系统——KStore 被引量:1
8
作者 谢沛东 武延军 《计算机应用》 CSCD 北大核心 2015年第1期99-102,114,共5页
Key-Value存储系统在各种互联网服务中被广泛使用,但现有的Key-Value存储系统通常在用户态空间设计和实现,因为频繁的模式切换和上下文切换,导致访问接口、事务处理效率不高,在高并发、低延迟的数据存储需求中尤为突出。针对该问题,给... Key-Value存储系统在各种互联网服务中被广泛使用,但现有的Key-Value存储系统通常在用户态空间设计和实现,因为频繁的模式切换和上下文切换,导致访问接口、事务处理效率不高,在高并发、低延迟的数据存储需求中尤为突出。针对该问题,给出了一个内核态Key-Value存储系统的实现——KStore:提供内核空间的索引和内存分配机制,并在此基础上,通过基于内核Socket的远程接口以及基于文件系统的本地接口,保证了KStore的低延迟;同时,通过基于内核多线程的并发处理机制,保证了KStore的并发性。实验结果表明,与Memcached相比,KStore在实时性和并发性方面都取得显著优势。 展开更多
关键词 Key-value存储系统 LINUX内核 文件系统 内核Socket 内核线程 Slab内存分配
下载PDF
基于Redis内存数据库的快速查找算法 被引量:26
9
作者 郎泓钰 任永功 《计算机应用与软件》 CSCD 2016年第5期40-43,52,共5页
大数据时代的到来,使许多云环境下的新型应用蓬勃发展。针对大数据管理的新需求,key-value型数据存储系统成为当今研究的热点。基于key-value引擎的内存数据库Redis以及Cuckoo Hash技术,提出一种混合哈希快速查找算法CSR_Hash。通过对... 大数据时代的到来,使许多云环境下的新型应用蓬勃发展。针对大数据管理的新需求,key-value型数据存储系统成为当今研究的热点。基于key-value引擎的内存数据库Redis以及Cuckoo Hash技术,提出一种混合哈希快速查找算法CSR_Hash。通过对实验结果的分析,表明该算法有效地缩短了查询响应时间,并将其应用在通过Hadoop云平台以及Map/Reduce编程模型实现的图书销售系统中,对图书数据进行实时高效的解析与推荐,增强了No SQL数据库与Map/Reduce结合的实时性和高并发性。 展开更多
关键词 key-value存储系统 Redis数据库 MAP/REDUCE CUCKOO HASH
下载PDF
Key-Value键值对数据在新生儿听力筛查登记系统中的应用 被引量:1
10
作者 黎勇 易松 +1 位作者 邓忠 谭东辉 《医学信息》 2019年第4期11-13,共3页
本文围绕新生儿听力筛查登记系统的技术实现,着重从新生儿不同报告单资料数据的保存及展示方面来阐述技术核心实现过程,针对不同的基层医院需要存储的新生儿数据格式不一致问题,在关系数据库中采用Key-Value形式来进行存储,而数据的查... 本文围绕新生儿听力筛查登记系统的技术实现,着重从新生儿不同报告单资料数据的保存及展示方面来阐述技术核心实现过程,针对不同的基层医院需要存储的新生儿数据格式不一致问题,在关系数据库中采用Key-Value形式来进行存储,而数据的查询展示则利用数据库编程技术或JAVA函数式编程技术实现。 展开更多
关键词 Key-value数据存储 数据库编程 JAVA函数式编程
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部