期刊文献+
共找到19篇文章
< 1 >
每页显示 20 50 100
面向智能电网的数据密集型云存储策略 被引量:36
1
作者 丁杰 奚后玮 +1 位作者 韩海韵 周爱华 《电力系统自动化》 EI CSCD 北大核心 2012年第12期66-70,100,共6页
智能电网环境下数据密集型应用往往涉及跨数据中心的数据传输和数据中心内的数据迁移,这对数据分布提出了新的挑战。为了充分利用计算存储资源,满足智能电网大规模数据的可靠存储和高效处理的实际需求,提出了基于云计算的数据密集型存... 智能电网环境下数据密集型应用往往涉及跨数据中心的数据传输和数据中心内的数据迁移,这对数据分布提出了新的挑战。为了充分利用计算存储资源,满足智能电网大规模数据的可靠存储和高效处理的实际需求,提出了基于云计算的数据密集型存储方法,该方法将数据集映射成数据空间的点集。设计了两阶段分类过程:第1阶段基于传统的K均值算法实现点集的初始分类;第2阶段针对各数据集与初始聚类的隶属关系,引入数据迁移的代价函数,对初始分类进行调节,实现数据集到数据中心的布局方案。实验结果表明,该算法能够有效提高数据存取效率并兼顾全局负载均衡。 展开更多
关键词 智能电网 云计算 数据分布 数据迁移 一致性哈希算法
下载PDF
NoSQL的分布式存储与扩展解决方法 被引量:26
2
作者 姚林 张永库 《计算机工程》 CAS CSCD 2012年第6期40-42,共3页
传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的... 传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。 展开更多
关键词 非关系型数据库 一致性哈希算法 键值对 镜像
下载PDF
基于虚拟散列安全访问路径VHSAP的云计算路由平台防御DDoS攻击方法 被引量:18
3
作者 吴志军 崔奕 岳猛 《通信学报》 EI CSCD 北大核心 2015年第1期30-37,共8页
防御分布式拒绝服务DDoS(distributed denial of service)攻击是云计算平台安全保护中的一个关键问题。在研究大规模网络防御DDo S攻击的安全覆盖服务SOS(security overlay service)方法的基础上,揭示了SOS在节点被攻击时退出机制存在... 防御分布式拒绝服务DDoS(distributed denial of service)攻击是云计算平台安全保护中的一个关键问题。在研究大规模网络防御DDo S攻击的安全覆盖服务SOS(security overlay service)方法的基础上,揭示了SOS在节点被攻击时退出机制存在的安全漏洞,根据云计算路由策略改进了一致性散列算法Chord,提出了适用于云计算路由平台3层架构的虚拟散列安全访问路径VHSAP(virtualization hash security access path),在安全访问路径中引入了心跳机制,利用虚拟机技术实现弹性的虚拟节点,完成在云平台中被攻击节点之间的无缝切换,保证用户对云计算平台的安全访问。针对VHSAP防御DDo S的性能进行了仿真实验,重点研究了在散列安全访问路径HSAP中被攻击节点数和切换时延等参数,并将实验结果与SOS方法进行了比较。实验结果表明在DDo S攻击下,VHSAP具有较高的数据通过率,可以提高云计算平台的安全性。 展开更多
关键词 云计算 路由平台 DDOS 一致性散列 虚拟化 无缝切换
下载PDF
一致性哈希算法在分布式系统中的应用 被引量:8
4
作者 姚墨涵 谢红薇 《电脑开发与应用》 2012年第7期1-2,共2页
随着互联网技术的迅猛发展,分布式系统逐渐成为重要的技术之一。阐述了一致性哈希算法的原理,详细介绍了一致性哈希算法在分布式系统中的应用,并总结了一致性哈希算法的优点。
关键词 分布式系统 一致性哈希算法 关键目标
下载PDF
大规模云存储系统副本布局研究 被引量:6
5
作者 董继光 陈卫卫 +1 位作者 田浪军 吴海佳 《计算机应用》 CSCD 北大核心 2012年第3期620-624,共5页
在基于副本冗余机制的大规模云存储系统中,以往的副本布局算法只能部分地满足副本布局中高可靠、高可扩展并且高效的要求,针对这一问题,提出了一种基于分组和一致性哈希的副本布局算法。首先,将关联性高的存储节点进行分组;然后,通过改... 在基于副本冗余机制的大规模云存储系统中,以往的副本布局算法只能部分地满足副本布局中高可靠、高可扩展并且高效的要求,针对这一问题,提出了一种基于分组和一致性哈希的副本布局算法。首先,将关联性高的存储节点进行分组;然后,通过改进的一致性哈希算法将同一数据对象的多个副本分别分配到不同分组中;最后,再通过改进的一致性哈希算法将分配到各分组的数据副本放置在组内对应的存储节点上。理论分析可知,该方法大大提高数据的可靠性。仿真结果表明,该算法能满足副本布局的均衡性、自适应性要求,并能在几十微秒内完成副本定位。 展开更多
关键词 云存储 副本布局 一致性哈希算法 分组 可靠性
下载PDF
改进一致性哈希优化存储邮政数据算法的研究
6
作者 李泽山 《现代电子技术》 北大核心 2024年第6期43-48,共6页
随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布... 随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统(HDFS)存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。 展开更多
关键词 数据存储 一致性哈希算法 加权轮询算法 分布式文件系统 负载均衡 异构集群 分配策略
下载PDF
基于一致哈希算法的用电信息采集系统研究 被引量:2
7
作者 邹保平 《电力信息化》 2011年第6期24-27,共4页
电网公司的用电信息采集系统具有数据量大、在线终端多、通道类型多和应用场景复杂等特点,传统的负载均衡的方式,在增加前置机或前置机故障时,终端协议处理都会发生大规模的迁移。文章提出了采用硬件负载均衡器实现通信负载均衡,采用一... 电网公司的用电信息采集系统具有数据量大、在线终端多、通道类型多和应用场景复杂等特点,传统的负载均衡的方式,在增加前置机或前置机故障时,终端协议处理都会发生大规模的迁移。文章提出了采用硬件负载均衡器实现通信负载均衡,采用一致哈希算法实现采集前置机的负载均衡;对哈希算法进行了分析比较,选择CRC32查表法,保证了哈希算法的高效、单调和均匀分布,在前置机发生变化时,仅有少数终端发生迁移,不发生终端大规模的迁移,确保负载均衡,保证了系统的稳定性和可靠性。 展开更多
关键词 用电信息采集 哈希算法 一致哈希算法 分布式 负载均衡
下载PDF
基于通用带权分布式哈希表的数据放置算法研究
8
作者 王耿 邓智群 《计算机工程与设计》 CSCD 北大核心 2008年第4期794-796,共3页
研究了动态网络环境下基于网络的存储系统的数据放置算法,分析了现有的数据放置算法,提出了通用带权分布式哈希表算法。与相容哈希算法和对数算法定义的评判函数相比,考虑了各个节点的存储空间、数据分发节点与数据存储节点之间的物理... 研究了动态网络环境下基于网络的存储系统的数据放置算法,分析了现有的数据放置算法,提出了通用带权分布式哈希表算法。与相容哈希算法和对数算法定义的评判函数相比,考虑了各个节点的存储空间、数据分发节点与数据存储节点之间的物理距离、网络带宽等的限制。仿真结果表明,该算法能够实现数据的公平分发。 展开更多
关键词 相容哈希算法 通用带权分布式哈希表 数据放置 存储系统 性能评价
下载PDF
移动终端云存储技术研究 被引量:3
9
作者 王辉 唐俊勇 《工业仪表与自动化装置》 2017年第5期104-107,共4页
通过分析HDFS和Dynamo,该文引入动态一致性哈希算法,对不同对象组实现分类处理,根据各个存储节点的存储代价综合调度,选择最优存储节点实现移动终端云存储访问。经仿真实验验证:云存储系统的多副本机制能够有效提高系统效率,当移动终端... 通过分析HDFS和Dynamo,该文引入动态一致性哈希算法,对不同对象组实现分类处理,根据各个存储节点的存储代价综合调度,选择最优存储节点实现移动终端云存储访问。经仿真实验验证:云存储系统的多副本机制能够有效提高系统效率,当移动终端发出请求时,选择最近的副本能够有效节省时间。 展开更多
关键词 云存储 HDFS DYNAMO 动态一致性哈希算法 多副本机制
下载PDF
一种面向移动终端的云存储方法研究 被引量:3
10
作者 吴永发 曾碧 《微电子学与计算机》 CSCD 北大核心 2013年第6期48-51,56,共5页
在分析HDFS和Dynamo架构的基础上,引入数据库技术以及动态一致性哈希算法分类处理不同对象组的方法.本方法可根据各个存储节点存储代价,进行综合调度,对外提供最优存储节点.通过算法描述和仿真结果分析表明,此方法可以使系统达到负载均... 在分析HDFS和Dynamo架构的基础上,引入数据库技术以及动态一致性哈希算法分类处理不同对象组的方法.本方法可根据各个存储节点存储代价,进行综合调度,对外提供最优存储节点.通过算法描述和仿真结果分析表明,此方法可以使系统达到负载均衡,并且从整体上提高了系统的效率,在数据查找定位上也可以满足要求. 展开更多
关键词 云存储 副本策略 动态节点 一致性哈希算法 负载均衡
下载PDF
基于HBase的交通流数据实时存储系统 被引量:26
11
作者 陆婷 房俊 乔彦克 《计算机应用》 CSCD 北大核心 2015年第1期103-107,135,共6页
交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题。针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统。该系统采用分布式存储架构,通过前端的预处理操作对数据进... 交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题。针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统。该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中。实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能。 展开更多
关键词 流数据 多源缓冲区 数据切分 一致性哈希算法 实时存储 HBASE
下载PDF
一致性哈希算法在数据库集群上的拓展应用 被引量:11
12
作者 赵飞 苏忠 《成都信息工程学院学报》 2015年第1期52-58,共7页
在数据库集群的研究中,可扩展性是一个重要的性能指标。为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略。将Key-Value存储技术中使用... 在数据库集群的研究中,可扩展性是一个重要的性能指标。为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略。将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案。最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好。 展开更多
关键词 计算机应用技术 数据库 并行分析型数据库集群 一致性哈希算法 数据划分
下载PDF
基于一致性哈希算法的分布式机电系统海量数据存储策略研究 被引量:2
13
作者 刘沛津 王柳月 +2 位作者 孙昱 史洁琳 晏东阳 《机床与液压》 北大核心 2023年第22期31-38,共8页
针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希... 针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希算法的机电液数据的哈希环信息映射,同时引入虚拟节点解决哈希偏移问题。考虑各主机性能差异,基于权值分配虚拟节点,实现负载的自适应,并建立了虚拟节点的动态分配机制。试验结果表明:该存储策略具有良好的负载均衡性,较平均分配各主机节点数量的一致性哈希动态分配存储策略效果更好,能有效减少动态分配次数,使系统快速进入正常运行状态,实现数据的高效存储。 展开更多
关键词 分布式机电系统 一致性哈希算法 海量数据存储策略 虚拟节点 权值动态分配 负载均衡
下载PDF
基于一致性Hash算法的分布式缓存数据冗余 被引量:5
14
作者 李宁 《软件导刊》 2016年第1期47-50,共4页
为了优化大型分布式网站中的数据缓存机制,提出基于一致性Hash算法的缓存数据冗余机制。分析不同散列函数性能,使数据能均匀分布在Hash环上不同节点,使用二分法在主从Hash环上分别进行存取缓存数据。本地测试及结果分析表明,该冗余机制... 为了优化大型分布式网站中的数据缓存机制,提出基于一致性Hash算法的缓存数据冗余机制。分析不同散列函数性能,使数据能均匀分布在Hash环上不同节点,使用二分法在主从Hash环上分别进行存取缓存数据。本地测试及结果分析表明,该冗余机制明显优于直接读库和单机缓存,在分布式系统中能有效降低冗余操作带来的性能损耗,提高了网站的健壮性和稳定性,为高并发、分布式缓存系统设计提供了一个新的思路。 展开更多
关键词 一致性hash 分布式缓存 数据冗余
下载PDF
分布式实时运行数据驱动的液压支架群虚拟监测关键技术 被引量:4
15
作者 李娟莉 李梦辉 +2 位作者 谢嘉成 王学文 张鑫 《北京理工大学学报》 EI CAS CSCD 北大核心 2021年第10期1023-1033,共11页
针对多机装备可视化监测中存在的数据体量大以及单台主机模式下无法有效完成复杂任务的问题,提出了基于实时运行数据驱动的分布式液压支架群虚拟监测方法.该方法首先建立了基于实时运行数据的驱动模型;其次基于可识别数据交互器的数据... 针对多机装备可视化监测中存在的数据体量大以及单台主机模式下无法有效完成复杂任务的问题,提出了基于实时运行数据驱动的分布式液压支架群虚拟监测方法.该方法首先建立了基于实时运行数据的驱动模型;其次基于可识别数据交互器的数据传递方法,建立了C/S模式下的分布式局域网协同模型;然后基于一致性哈希算法的分配方法,建立了可根据主机负载状况动态分配任务的任务调度模型,最后以试验室液压支架群为例构建了分布式系统.试验结果表明:该方法建立的监测系统相比于单主机系统,提高了监测的稳定性,能够为透明综采工作面的建设提供核心技术支撑. 展开更多
关键词 分布式 数据驱动 一致性哈希算法 负载均衡 液压支架群
下载PDF
内生动态反馈的一致性哈希数据库负载均衡 被引量:3
16
作者 陈又咏 刘迪 +1 位作者 潘鹏宇 焦艳斌 《现代电子技术》 2021年第23期111-116,共6页
相比集中式数据库,分布式数据库系统由多个服务器构成,适用于高并发用户访问场景。然而,如果单服务器负载过高,将导致整个分布式数据库系统性能瓶颈。文中提出了一种内生动态反馈(BDF)的一致性哈希算法,动态反馈服务器的CPU、RAM等负载... 相比集中式数据库,分布式数据库系统由多个服务器构成,适用于高并发用户访问场景。然而,如果单服务器负载过高,将导致整个分布式数据库系统性能瓶颈。文中提出了一种内生动态反馈(BDF)的一致性哈希算法,动态反馈服务器的CPU、RAM等负载信息,将负载均衡问题与装箱问题相结合,在均衡服务器负载的同时,提高服务器内部各类资源的使用率。构造负载基尼系数,刻画服务器间的负载率差异,基于差异适时梯度式,调整各服务器对应的哈希环虚拟节点数量以均衡负载。同时,通过对负载均衡周期进行动态调整,既能较好地满足动态负载均衡的需求,也能减少额外的资源消耗。通过仿真实验表明,提出的BDF算法能更好地应对负载均衡问题,有效提高了服务器的吞吐量并降低了响应时间。 展开更多
关键词 负载均衡 内生动态反馈 一致性哈希算法 装箱 负载基尼系数 分布式数据库 动态调整
下载PDF
一种基于纠删码的数据放置容错算法
17
作者 葛君伟 陈志林 方义秋 《计算机应用研究》 CSCD 北大核心 2014年第9期2688-2691,共4页
在基于纠删码技术的云存储系统中,如何选择合适的存储节点来放置经编码生成的多个冗余数据块、有效保证数据的容错性是云存储系统面临的一大挑战。提出的CHGDPS(consistent hash and greedy data placement algorithm based on sets)算... 在基于纠删码技术的云存储系统中,如何选择合适的存储节点来放置经编码生成的多个冗余数据块、有效保证数据的容错性是云存储系统面临的一大挑战。提出的CHGDPS(consistent hash and greedy data placement algorithm based on sets)算法在基于划分集合的思想上,将一致性hash方法与贪婪算法相结合,极大地减少了数据传输时间。实验结果表明,该算法具有更短的总体平均访问时间和更长的平均无故障时间,提高了数据的容错性。 展开更多
关键词 云存储 一致性哈希算法 贪婪算法 集合 容错性
下载PDF
基于一致性哈希算法和Ckafka技术的IMS电话实时录音系统
18
作者 江凇 王宝海 +2 位作者 赵金城 宋江 段佳秀 《计算机系统应用》 2020年第5期88-93,共6页
基于电路交换的传统电话录音系统因其结构复杂,存储的不便捷和非实时性的特点,已经无法满足新时代行政办公对高效,即时的通话录音需求,因此,提出一种基于电力IMS的电话实时录音系统.首先分析了电力IMS交换网中电话终端实时录音的业务需... 基于电路交换的传统电话录音系统因其结构复杂,存储的不便捷和非实时性的特点,已经无法满足新时代行政办公对高效,即时的通话录音需求,因此,提出一种基于电力IMS的电话实时录音系统.首先分析了电力IMS交换网中电话终端实时录音的业务需求;其次介绍了系统的实现流程,阐明了系统的关键技术:利用录音服务器对其镜像端口的SIP报文进行解析获得媒体流并解码、采用一致性哈希算法的内存数据库作为解码数据的缓存机制、利用Ckafka技术在两者之间构建实时数据通道;最后就响应时间、吞吐量、容错能力和推送的最大时延这四项指标对录音服务器进行性能分析,结果表明该系统的实时性强,吞吐量大,具备一定的容错能力,并能实现多服务器之间的负载均衡. 展开更多
关键词 IMS SIP 镜像端口 一致性哈希算法 Ckafka
下载PDF
基于HDFS的电力设备监测数据存储设计研究 被引量:2
19
作者 占永红 王东 +1 位作者 吴丽莎 王淋漓 《能源与环保》 2017年第12期210-213,共4页
随着电网规模的日趋复杂以及电网规模的快速增长,电力生产与信息化有了深度的融合,电网监测数据变得日益庞大,电力设备在线监控系统的数据存储面临着巨大的挑战。针对电力设备监测数据存储存在的问题,采用HDFS对电力设备监测数据存储设... 随着电网规模的日趋复杂以及电网规模的快速增长,电力生产与信息化有了深度的融合,电网监测数据变得日益庞大,电力设备在线监控系统的数据存储面临着巨大的挑战。针对电力设备监测数据存储存在的问题,采用HDFS对电力设备监测数据存储设计进行研究,研究了基于HDFS的电力设备监测数据存储系统构架,系统构架主要由计算层、数据接入和存储层组成;提出了一致性哈希存储算法,该算法优化了HDFS的数据分布策略;分析了HDFS数据块的尺寸优化,得出了负载均衡和数据块的关系;进行了HDFS性能基准测试,分析出监测数据规模与文件大小对集群I/O性能的影响,研究为实现高效、统一、安全的电力设备监控数据的存储提供一定借鉴意义。 展开更多
关键词 HDFS 电力设备 监测数据存储设计 一致性哈希存储算法 I/O性能
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部