基于哈希算法的异构多模态数据检索研究 被引量：11

1

作者 陈凤 蒙祖强 《计算机科学》 CSCD 北大核心 2019年第10期49-54,共6页

随着大数据时代的发展,网络上的文本、图像、视频、音频等异构多模态数据呈指数级增长。在海量数据中进行异构多模态数据的检索,成为了热门的研究方向。但是,异构多模态数据检索面临两大挑战:1)数据存在“语义鸿沟”,即如何表达异构多... 随着大数据时代的发展,网络上的文本、图像、视频、音频等异构多模态数据呈指数级增长。在海量数据中进行异构多模态数据的检索,成为了热门的研究方向。但是,异构多模态数据检索面临两大挑战:1)数据存在“语义鸿沟”,即如何表达异构多模态数据之间的相似性;2)在海量数据中,如何进行准确高效的检索。针对哈希检索算法忽略了异构多模态数据之间语义一致性的问题,文中提出了一种基于CCA(典型相关性分析)语义一致性的哈希检索算法(CCA-SCH)。该算法为了保持模态内的语义一致性,分别生成文本和图像数据的语义模型;为了保持模态间的语义一致性,通过CCA算法融合文本和图像语义,生成最大相关矩阵;同时引入2,ρ范式来减少原始数据集的噪声和冗余信息,使哈希函数具有更好的鲁棒性。实验结果表明,CCA-SCH算法在实验数据集上的均值平均准确率(Map)相较于基准算法提升了10%以上,体现了该算法更好的检索性能。 展开更多

关键词 哈希函数 语义一致性 CCA算法 异构多模态

下载PDF 职称材料

一种云数据库的设计与实现 被引量：4

2

作者 裴文斌 马军 +1 位作者 石辉 方伟 《微型机与应用》 2014年第16期6-9,共4页

云数据库是把各种关系型数据库看成一系列简单的二维表,并基于简化版本的SQL或访问对象进行操作的数据库。云数据库能够为多个用户同时提供类似于单节点数据库的服务。在当前云计算技术不断发展中,数据库不断发展进化,从原始的单节点数... 云数据库是把各种关系型数据库看成一系列简单的二维表,并基于简化版本的SQL或访问对象进行操作的数据库。云数据库能够为多个用户同时提供类似于单节点数据库的服务。在当前云计算技术不断发展中,数据库不断发展进化,从原始的单节点数据库逐渐发展成为云数据库,数据存储能力相对于过去提高了数倍。目前云数据库服务不断增多,在此背景下,讨论了一种云数据库的设计与核心子系统的实现。 展开更多

关键词 云数据库 云计算 数据分布 高可用 一致性hash

下载PDF 职称材料

一种基于HashGraph的NoSQL型分布式存储因果一致性模型 被引量：4

3

作者 田俊峰 王彦骉 《计算机研究与发展》 EI CSCD 北大核心 2020年第12期2703-2716,共14页

分布式环境中的数据因果一致性指的是对具有因果依赖性的数据进行更新时,须同步更新其他分布式副本中的依赖性元数据,同时满足较高的可用性和性能需求.为解决现有成果中更新可见延迟较高的问题,在数据中心稳定向量的基础上,结合混合逻... 分布式环境中的数据因果一致性指的是对具有因果依赖性的数据进行更新时,须同步更新其他分布式副本中的依赖性元数据,同时满足较高的可用性和性能需求.为解决现有成果中更新可见延迟较高的问题,在数据中心稳定向量的基础上,结合混合逻辑时钟和HashGraph原理,提出了Causal-Pdh模型.使用部分向量和校验值作为消息签名代替了所有向量,并且借鉴HashGraph的原理,改进了各个数据中心同步最新条目的过程,各个父节点随机与其他父节点同步最新状态,从而降低了虚拟投票所使用的时间.最后通过实验验证了Causal-Pdh模型不仅没有影响客户端的吞吐量,而且在时钟偏移较严重时降低了20.85%的用户PUT等待延迟,在系统中存在查询放大的情况时,PUT响应时间降低了23.27%. 展开更多

关键词 数据一致性 因果一致性 分布式存储 hash图 混合逻辑时钟

下载PDF 职称材料

Swift云存储环境下基于I/O负载均衡的读取策略 被引量：4

4

作者 蒋溢 孙雪涛 杨川 《计算机工程与设计》 CSCD 北大核心 2013年第9期3024-3027,3032,共5页

Swift是开源云计算平台OpenStack中云存储服务组件,为平台提供廉价、可靠、安全的云存储服务。针对Swift没有充分利用存储系统的备份数据来实现并行读取操作及负载均衡的这一问题,提出了基于I/O负载均衡的并发读策略。实验结果表明,该... Swift是开源云计算平台OpenStack中云存储服务组件,为平台提供廉价、可靠、安全的云存储服务。针对Swift没有充分利用存储系统的备份数据来实现并行读取操作及负载均衡的这一问题,提出了基于I/O负载均衡的并发读策略。实验结果表明,该策略不仅能够充分利用备份数据来达到存储设备读操作的负载均衡,而且能够实现数据的并行读取,提高平台整体读性能。 展开更多

关键词 Swift云存储 哈希一致性 备份数据 负载均衡 读取效率

下载PDF 职称材料

涿鹿4.3级地震前后应力场变化特征 被引量：2

5

作者 孙小入 岳晓媛 +1 位作者 刘金成 胡毅涛 《华北地震科学》 2019年第3期18-24,共7页

采用目前普遍接受的基于初动符号和振幅比的HASH方法,计算了2008年10月至2018年10月张渤带西段中小地震震源机制解;在获得震源机制解的基础上,进一步利用震源机制解一致性参数研究了涿鹿4.3级地震前后的应力场变化特征。结果表明:该区... 采用目前普遍接受的基于初动符号和振幅比的HASH方法,计算了2008年10月至2018年10月张渤带西段中小地震震源机制解;在获得震源机制解的基础上,进一步利用震源机制解一致性参数研究了涿鹿4.3级地震前后的应力场变化特征。结果表明:该区域震源机制解以正断型和走滑型为主,逆冲型次之,涿鹿4.3级地震后走滑型地震较震前略有上升,表明该区域的剪切作用增强;主压应力轴方位大致为NEE-SWW,主张应力轴为SSENNW向;涿鹿4.3级地震发生在震源机制一致性参数的低值边缘附近,发震时间也在一致性参数的低值时段。 展开更多

关键词 涿鹿地震 hash方法 震源机制解 一致性参数

下载PDF 职称材料

基于MongoDB集群的遥感数据存储方法研究 被引量：1

6

作者 李宏志 李苋兰 《山东师范大学学报（自然科学版）》 CAS 2018年第3期293-301,共9页

应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"... 应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的高速内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型.最后针对文中存储方法提出了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储. 展开更多

关键词 遥感数据 MongoDB集群 片键策略 哈希一致性 存储模型

下载PDF 职称材料

基于MongoDB集群的遥感数据存储方法的研究

7

作者 李宏志 李苋兰 《四川理工学院学报（自然科学版）》 CAS 2018年第2期89-95,共7页

随着遥感探测技术的发展,遥感数据的数量和质量都在逐步提高,如何有效地存储和管理这些数据成为当前研究的重点。应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,设计了影像文件与元数据分离存储的策... 随着遥感探测技术的发展,遥感数据的数量和质量都在逐步提高,如何有效地存储和管理这些数据成为当前研究的重点。应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,设计了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究,根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型。最后针对所提出的存储方法设计了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储。 展开更多

关键词 遥感数据 MongoDB集群 片键策略 哈希一致性 存储模型

下载PDF 职称材料

基于一致性Hash的电力企业MDS集群高质量元数据管理模型 被引量：6

8

作者 余芸 《自动化技术与应用》 2020年第3期174-177,181,共5页

本文基于一致性Hash设计了电力企业动态化MDS集群高质量元数据管理模型。首先详细分析一致性Hash算法,其次设计数据集成化元数据框架,再次构建一致性Hash集群数据管理模型,最后进行实验验证。实验结果表明,此模型不仅可提高元数据分布... 本文基于一致性Hash设计了电力企业动态化MDS集群高质量元数据管理模型。首先详细分析一致性Hash算法,其次设计数据集成化元数据框架,再次构建一致性Hash集群数据管理模型,最后进行实验验证。实验结果表明,此模型不仅可提高元数据分布均衡性,还可基于备份结点策略保留MDS失效数据信息,同时利用数据延迟处理方式促使集群变化数据迁移量减少,从而实现数据存储的元数据优化管理与扩展。 展开更多

关键词 一致性hash 电力企业 MDS 集群 元数据

下载PDF 职称材料

企业信息系统高质量元数据管理 被引量：2

9

作者 孙煜华 《计算机与数字工程》 2019年第3期593-597,648,共6页

灵活易扩展的元数据集群方案可有效消除大规模数据存储和查询访问性能的瓶颈,为此,基于一致性Hash提改进元数据映射,提高集群系统的负载均衡,通过节点备份、失效接管和延迟更新策略提高容错性能和扩展性,以降低集群变动时的数据迁移量,... 灵活易扩展的元数据集群方案可有效消除大规模数据存储和查询访问性能的瓶颈,为此,基于一致性Hash提改进元数据映射,提高集群系统的负载均衡,通过节点备份、失效接管和延迟更新策略提高容错性能和扩展性,以降低集群变动时的数据迁移量,实验验证了方案的有效性。 展开更多

关键词 MDS集群管理 一致性hash 虚拟MDS映射 失效接管

下载PDF 职称材料

基于私有云的种子追溯管理平台的研究 被引量：1

10

作者 李岩 李东明 苑超 《中国农机化学报》 2016年第9期154-158,共5页

种子销售数据、流向数据的采集与计算是种子追索管理的重要环节。随着种子量的增加和种类的繁杂,传统的数据处理方式在进行计算、存储时,存在着负载能力低、吞吐量差等问题。借鉴Hadoop分布式计算模型的并行计算和分布式存储的方式,设... 种子销售数据、流向数据的采集与计算是种子追索管理的重要环节。随着种子量的增加和种类的繁杂,传统的数据处理方式在进行计算、存储时,存在着负载能力低、吞吐量差等问题。借鉴Hadoop分布式计算模型的并行计算和分布式存储的方式,设计基于私有云的种子追溯管理平台,研究一致性Hash算法优化数据库集群配置、MapReduce对大数据的并行计算。结果表明,与传统单节点处理方式相比,采用私有云并行计算方式可以大大提高并行计算能力、存储效率和平台的负载能力,同等数据量下云平台处理时间约为单节点集群的33.3%。 展开更多

关键词 种子追溯 HADOOP 私有云 分布式 一致性hash

下载PDF 职称材料

基于Redis的系统缓存容量平滑扩展方案

11

作者 赖歆 《网络安全技术与应用》 2014年第10期78-79,共2页

本文对基于Redis缓存的系统怎样进行缓存数据容量扩展展开探讨,并提出具体的解决方案,从而使缓存数据容量在进行扩展的过程中,减少对系统的影响。

关键词 REDIS 分布式缓存 一致性hash

原文传递

基于聚类的动态负载均衡在数据采集上的应用

12

作者 刘德志 《计算机光盘软件与应用》 2012年第3期124-125,共2页

为了构建一个基于微博的社会网络,需要提供大量的微博数据源,那么如何才能实时高效的获取微博信息是构建微博社会网络面临的重大挑战。本文提出了一种基于聚类的动态负载均衡数据采集方法,将聚类算法与动态负载均衡结合是一次新的尝试,... 为了构建一个基于微博的社会网络,需要提供大量的微博数据源,那么如何才能实时高效的获取微博信息是构建微博社会网络面临的重大挑战。本文提出了一种基于聚类的动态负载均衡数据采集方法,将聚类算法与动态负载均衡结合是一次新的尝试,测试表明,能够满足对微博数据采集的需求。 展开更多

关键词 微博 聚类 负载均衡 一致hash算法

下载PDF 职称材料

基于动态默克尔哈希树的跨链数据一致性验证模型

13

作者 赵佳豪 蒋佳佳 张玉书 《信息网络安全》 CSCD 北大核心 2023年第9期95-107,共13页

目前,区块链由于其高度的去中心化以及不可篡改的特性被广泛应用于不同领域,文章以解决区块链在应用过程中的链间数据交互一致性无法保证以及不支持数据动态更新的问题为研究目标,设计了一种去中心化的数据一致性审计模型,该模型采用跨... 目前,区块链由于其高度的去中心化以及不可篡改的特性被广泛应用于不同领域,文章以解决区块链在应用过程中的链间数据交互一致性无法保证以及不支持数据动态更新的问题为研究目标,设计了一种去中心化的数据一致性审计模型,该模型采用跨链技术来实现异构区块链之间数据的安全可信共享,利用去中心化的变色龙哈希函数构建动态的默克尔哈希树以实现数据的动态更新操作,引入审计链对源链和目标链之间的数据交互进行监管,并利用Cosi多重签名算法来保证数据传输过程中的一致性。经过理论分析和实验验证,结果表明,该模型采用的Cosi算法在时间开销和可扩展性方面与目前主流多重签名算法相比具有较大优势。此外,本文模型在时间开销和通信开销方面与常见的审计模型相比有较大优势,能够以较小的成本完成相同的审计任务,并且可以达到99%的数据审计一致性保证概率。 展开更多

关键词 区块链 跨链 去中心化的变色龙哈希函数 动态数据 一致性验证

下载PDF 职称材料

基于哈希树的分布式目录同步方法 被引量：1

14

作者 鲍爱华 袁晓萍 +1 位作者 陈锋 刘鹏 《解放军理工大学学报（自然科学版）》 EI 北大核心 2013年第6期608-616,共9页

在云存储应用中,用户通常需要在多个终端上对其工作目录副本进行修改,如何在分布式目录副本之间进行高效的数据同步是一个重要问题。设计实现了一个面向私有云存储的分布式目录同步系统HTD2Sync。系统以文件哈希值为依据进行并发同步冲... 在云存储应用中,用户通常需要在多个终端上对其工作目录副本进行修改,如何在分布式目录副本之间进行高效的数据同步是一个重要问题。设计实现了一个面向私有云存储的分布式目录同步系统HTD2Sync。系统以文件哈希值为依据进行并发同步冲突检测,能够在文件同步过程中过滤大量伪冲突;针对目录副本同步中的2种冲突类型和6种冲突场景,给出了对应的冲突消解方法;引入有序哈希树对用户目录副本的内容和结构进行建模,给出了有序哈希树的创建和更新方法。提出了一种基于有序哈希树的分布式目录副本同步方法,对其流程和核心操作步骤进行了说明,给出了有序哈希树比对算法COMPARE_OHT。实验表明,HTD2Sync系统能够快速感知私有云存储终端的文件变化,在云端文件变化感知方面也具有较高的效率。 展开更多

关键词 哈希树 目录同步 冲突检测 最终一致性

下载PDF 职称材料

A Comparison Method of Massive Power Consumption Information Collection Test Data Based on Improved Merkle Tree

15

作者 Enguo Zhu Fangbin Ye +1 位作者 Jian Dou Chaoliang Wang 《国际计算机前沿大会会议论文集》 2018年第2期33-33,共1页

关键词 Power CONSUMPTION information COLLECTION hash algorithmImproved MERKLE tree Data consistency

下载PDF 职称材料