基于多级索引的高维数据近似最近邻搜索 被引量：4

1

作者 杨凤丽 李娜 刘仁芬 《计算机仿真》 北大核心 2022年第11期398-401,共4页

当前的高维数据最近邻搜索方法大多应用单级索引,导致近邻搜索稳定性较差,且时间开销较大。为此提出基于多级索引的高维数据近似最近邻搜索方法。利用二级距离敏感哈希算法(M2LSH)实现多级索引。将第一次哈希处理的高维数据输入哈希桶内... 当前的高维数据最近邻搜索方法大多应用单级索引,导致近邻搜索稳定性较差,且时间开销较大。为此提出基于多级索引的高维数据近似最近邻搜索方法。利用二级距离敏感哈希算法(M2LSH)实现多级索引。将第一次哈希处理的高维数据输入哈希桶内,使用二次哈希映射桶号,使其在一维空间中呈现。依据各桶内数据量完成临近哈希桶合并,将新哈希桶作为候选搜索集合,实现高维数据近似最近邻搜索。实验结果表明:不同相邻桶距离下,所提算法优化后的近似比率均可保持在1左右,搜索效果大幅度提升,且稳定性较好;将该算法的哈希函数数量和哈希桶宽度分别设置为12、3,能获得更优异的搜索效果,并极大地节省时间开销,说明多级索引是处理高维数据近似最近邻问题的有效方法。 展开更多

关键词 多级索引 高维数据 近似最近邻 距离敏感哈希 哈希桶

下载PDF 职称材料

基于哈希桶和聚类的变半径邻域粗糙集模型

2

作者 李华 孟祥瑞 《江苏科技大学学报（自然科学版）》 CAS 2024年第4期100-107,共8页

邻域粗糙集是处理机器学习与数据挖掘中不确定性的数据分析工具.邻域粗糙集中邻域粒的大小往往受邻域半径的影响.针对现有的邻域粗糙集模型通常对每个样本设置相同的邻域半径,导致得到的邻域粒无法对每个样本进行准确地刻画的问题,基于... 邻域粗糙集是处理机器学习与数据挖掘中不确定性的数据分析工具.邻域粗糙集中邻域粒的大小往往受邻域半径的影响.针对现有的邻域粗糙集模型通常对每个样本设置相同的邻域半径,导致得到的邻域粒无法对每个样本进行准确地刻画的问题,基于样本数据的分布信息,首先对数据集进行聚类,并基于哈希桶对每个类的样本分布情况做出分析,然后为每个样本设置合适大小的邻域半径,使其能够更准确地刻画每个样本的信息,进而提出变半径邻域粗糙集模型.最后选取了8个UCI数据集进行实验,并分别与当前最常用的邻域粗糙集模型进行比较,理论分析与实验结果表明所提出的变半径邻域粗糙集模型具有更好的学习性能. 展开更多

关键词 变半径邻域粗糙集 哈希桶 聚类 样本分布 不确定性

下载PDF 职称材料

NoSQL数据库技术在嵌入式装置中的应用 被引量：3

3

作者 范三龙 秦成虎 《工业仪表与自动化装置》 2020年第5期16-20,35,共6页

在互联网+创新背景下,用信息化技术的成果改造和提升传统的自动化设备,具有重要的前景。NoSQL数据库泛指非关系型数据库,是大数据时代的热点。该文在NoSQL数据库技术基础上,设计实现了一种适合在嵌入式装置中运行的实时数据库。从数据... 在互联网+创新背景下,用信息化技术的成果改造和提升传统的自动化设备,具有重要的前景。NoSQL数据库泛指非关系型数据库,是大数据时代的热点。该文在NoSQL数据库技术基础上,设计实现了一种适合在嵌入式装置中运行的实时数据库。从数据对象的描述,对象的存储和索引,对象的查找、遍历、增删改操作,消息总线中通知的注册和发送四个方面,介绍了数据库的组成,内存的使用,双哈希索引的构成,命令及消息传递机制等。该实时数据库可以完成数据对象的灵活定义和高效访问,进而实现各种自动化功能。 展开更多

关键词 NOSQL数据库 键值数据库 列存储 实时数据库 哈希桶

下载PDF 职称材料

改进的key/value数据存储设计方案

4

作者 何文 《东北电力大学学报》 2012年第4期26-29,共4页

针对现有key/value缓存系统海量数据的访问速度慢,满足不了应用的需求,提出一种改进的key/value数据存储方案并将其应用于缓存系统中。通过小数据量存储方案的提出,及对rehash算法、rehash权重因子w的改进,十分有效地解决了hash冲突、re... 针对现有key/value缓存系统海量数据的访问速度慢,满足不了应用的需求,提出一种改进的key/value数据存储方案并将其应用于缓存系统中。通过小数据量存储方案的提出,及对rehash算法、rehash权重因子w的改进,十分有效地解决了hash冲突、rehash迁移数据导致的系统变慢问题,加快了缓存系统的速度,提高了缓存系统的命中率。 展开更多

关键词 key/value数据结构 rehash hash算法 hashcode hash桶 缓存系统

下载PDF 职称材料

哈希桶Variety-B树的数据流处理方法 被引量：1

5

作者 王竹荣 伊珍珍 +2 位作者 黑新宏 冯华萍 费蓉 《西安理工大学学报》 CAS 北大核心 2017年第1期13-17,共5页

为方便对数据流数据的存储和查询,分析了Variety-B树结构存在的缺陷,设计一种改进的Variety-B树结构。通过在内存中开辟循环缓冲区,并在叶子结点采用哈希桶结构,以达到根据流数据信息动态分配内存空间。对哈希桶中数据存储引起的地址冲... 为方便对数据流数据的存储和查询,分析了Variety-B树结构存在的缺陷,设计一种改进的Variety-B树结构。通过在内存中开辟循环缓冲区,并在叶子结点采用哈希桶结构,以达到根据流数据信息动态分配内存空间。对哈希桶中数据存储引起的地址冲突设计一种线性探测哈希函数解决方法,及建立Variety-B树结构索引,可有效降低地址冲突,提高数据的检索效率。在此基础上,对历史数据流的存储和查询操作算法进行了设计和分析。实验测试结果表明,本文所提改进Variety-B树对历史数据流的存储和查询操作所消耗的计算机资源相对Variety-B树有所减少。 展开更多

关键词 数据流 Variety-B树 循环缓冲区 哈希桶

下载PDF 职称材料

基于对象存储系统中属性管理的研究与实现

6

作者 王慧丽 冯丹 覃灵军 《计算机应用研究》 CSCD 北大核心 2007年第11期188-190,共3页

针对现有属性管理方法上的缺陷和不足,提出了一种新的属性管理方法——哈希桶。哈希桶方法对对象的属性进行集中管理,不仅降低了管理存储成本,更有效地提高了系统的吞吐率。经过仿真测试表明,哈希桶对象属性管理方法性能远优于现有的属... 针对现有属性管理方法上的缺陷和不足,提出了一种新的属性管理方法——哈希桶。哈希桶方法对对象的属性进行集中管理,不仅降低了管理存储成本,更有效地提高了系统的吞吐率。经过仿真测试表明,哈希桶对象属性管理方法性能远优于现有的属性管理方法。 展开更多

关键词 基于对象存储系统 对象属性 哈希桶

下载PDF 职称材料

基于位置敏感哈希的海量文本数据查询算法研究 被引量：1

7

作者 蒋巍 《科技通报》 北大核心 2013年第10期70-72,共3页

提出了一种基于位置敏感哈希算法的海量文本数据查询算法,通过位置敏感哈希算法将文本数据的特征向量映射到哈希桶中,从而有效地降低了计算复杂度并提高了数据检索的效率。首先,利用TF-IDF特征表示文本的特征向量,并根据给定的哈希函数... 提出了一种基于位置敏感哈希算法的海量文本数据查询算法,通过位置敏感哈希算法将文本数据的特征向量映射到哈希桶中,从而有效地降低了计算复杂度并提高了数据检索的效率。首先,利用TF-IDF特征表示文本的特征向量,并根据给定的哈希函数集把文本的特征向量映射至哈希桶;接下来,利用哈希表为给定的文本计算出与之对应的直方图,通过直方图距离计算文本的相似度;最后,通过计算目标文本集中的文本与待查询文本的相似度进行文本排序,排序分值高的文本作为相关文本返回给用户。实验结果表明,对比已有方法文本提出的算法在MAP以及查全率-查准率曲线两个测度上都获得了较好的性能。 展开更多

关键词 位置敏感哈希 海量文本数据 哈希桶 排序

下载PDF 职称材料

基于均衡学习的增强哈希桶模型研究

8

作者 王小玲 鲁鹏 《光通信研究》 北大核心 2014年第3期30-32,51,共4页

在使用哈希查找表构造IEEE 802.1Q协议中VLAN(虚拟局域网)网桥定义的过滤数据库时,哈希桶常被用于解决多个关键字对应同一个存储地址而造成的"哈希冲突"。传统哈希桶通过唯一的哈希地址获取整个学习表的资源,效率较低。文章... 在使用哈希查找表构造IEEE 802.1Q协议中VLAN(虚拟局域网)网桥定义的过滤数据库时,哈希桶常被用于解决多个关键字对应同一个存储地址而造成的"哈希冲突"。传统哈希桶通过唯一的哈希地址获取整个学习表的资源,效率较低。文章提出了一种改进哈希表冲突的优化方法,通过双哈希桶和溢出桶来构造哈希表,并采用均衡学习的方式进行地址学习操作。该方法在双哈希桶溢出的情况下,将溢出条目暂存到溢出桶,并通知软件完成双哈希桶中冲突条目的释放和溢出桶中溢出条目的搬移操作。仿真实验结果表明,新的哈希算法可以有效减少哈希冲突的发生率,提高哈希表存储空间的利用率。 展开更多

关键词 哈希桶 哈希冲突 均衡学习

下载PDF 职称材料

星载快速路由查找算法设计与实现

9

作者 何婧 赵哲 李园利 《空间电子技术》 2017年第2期8-12,共5页

针对星载路由器的路由查找功能展开研究,分析比较常用的路由查找算法,利用软硬件协同设计的思想,提出了一种基于Hash桶和压缩Trie树相结合的路由查找算法,详细介绍了该算法的数据结构和实现步骤,对算法的性能进行分析比较。结果表明,该... 针对星载路由器的路由查找功能展开研究,分析比较常用的路由查找算法,利用软硬件协同设计的思想,提出了一种基于Hash桶和压缩Trie树相结合的路由查找算法,详细介绍了该算法的数据结构和实现步骤,对算法的性能进行分析比较。结果表明,该设计可满足宽带卫星通信系统高速数据路由查找的需求,实现10 Gbps数据的线速查找。 展开更多

关键词 hash桶 TRIE树 路由查找

下载PDF 职称材料

OneOS的任务调度系统设计与实现

10

作者 李蒙 贺鸿飞 《单片机与嵌入式系统应用》 2022年第9期13-17,21,共6页

在物联网应用场景下,操作系统应该保证对关键事件作出实时响应,同时,还应该提供丰富的任务管理功能,以便应对各种上层应用需求,为此提出了关键事件处理的性能分析模型,并根据此模型分析出任务调度系统性能改善的主要方向。OneOS使用混... 在物联网应用场景下,操作系统应该保证对关键事件作出实时响应,同时,还应该提供丰富的任务管理功能,以便应对各种上层应用需求,为此提出了关键事件处理的性能分析模型,并根据此模型分析出任务调度系统性能改善的主要方向。OneOS使用混合调度算法、优先级位图算法、前置计算待调度任务算法、哈希桶算法改善调度性能;同时,通过加锁粒度的优化,有效缩短了最大中断响应时间,进一步保证了处理关键事件的任务(最高优先级)能够快速响应。最后,实验证实了OneOS任务调度系统在同类产品中对关键事件的响应性能得到了优化。 展开更多

关键词 OneOS 抢占调度 轮转调度 混合调度 哈希桶

下载PDF 职称材料

基于Hadoop的风力发电监测大数据存储优化及并行查询方法 被引量：23

11

作者 王林童 赵腾 +1 位作者 张焰 苏运 《电测与仪表》 北大核心 2018年第11期1-6,共6页

随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征。针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风... 随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征。针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风力发电监测数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率。在数据存储优化的基础上,实现基于MapReduce的多源风力发电监测大数据并行关联查询。通过在Hadoop平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。 展开更多

关键词 大数据 风力发电监测 HADOOP 哈希分桶算法

下载PDF 职称材料

配用电大数据多源集成及存储优化方法 被引量：22

12

作者 王林童 赵腾 +2 位作者 张焰 苏运 田世明 《高电压技术》 EI CAS CSCD 北大核心 2018年第4期1131-1139,共9页

面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准... 面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准化元数据并构建相应数据字典的方法,实现了多源配用电数据规范化集成;在数据集成的基础上,基于Hadoop平台进行大数据存储优化方法研究,提出考虑配用电数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率并在数据存储优化的基础上,实现基于Map Reduce的多源配用电大数据并行关联查询。通过在Hadoop集群平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。 展开更多

关键词 配用电大数据 数据集成 HADOOP 哈希分桶存储 并行关联查询

下载PDF 职称材料

基于大数据技术风电机组容量可信度计算 被引量：11

13

作者 候卫萍 蔺红 《电测与仪表》 北大核心 2020年第14期39-44,共6页

在大规模风电并网的前提下,风电容量可信度计算对电力系统可靠运行具有重要意义。论文基于电量不足期望(LOEE)可靠性指标,考虑风电场间时空相关性的影响因素,采用非序贯蒙特卡洛法对风电容量可信度进行计算。风电容量可信度的计算需要... 在大规模风电并网的前提下,风电容量可信度计算对电力系统可靠运行具有重要意义。论文基于电量不足期望(LOEE)可靠性指标,考虑风电场间时空相关性的影响因素,采用非序贯蒙特卡洛法对风电容量可信度进行计算。风电容量可信度的计算需要的数据有风速、风电出力、风电机组地理位置信息等数据,由于计算所需的数据量大、类型多、来源广等特点,提出基于Hadoop架构的大数据技术计算风电容量可信度,针对Hadoop架构存在的机架感知不平衡及存储数据间缺乏相关性问题,引入机架感知配置法和哈希桶存储算法对其进行改进,提高了数据存储及数据处理的效率,减少计算时间,通过实例验证文中所提方法的有效性。 展开更多

关键词 Hadoop架构 风电容量可信度 哈希桶存储 蒙特卡洛 大数据技术

下载PDF 职称材料

电网行业元数据集成数据存储策略研究 被引量：6

14

作者 万婵 魏理豪 +2 位作者 杨秋勇 杨朝谊 苏华权 《微型电脑应用》 2021年第1期26-28,32,共4页

针对当前电网行业产生的海量数据,提出采用规范化元数据管理等方式来实现对电力行业数据的统一存储与管理方案。首先通过数据预处理,将不同格式的电力数据统一转换为XML格式数据,然后采用中间件技术实现对XML数据抽取与访问;其次,针对... 针对当前电网行业产生的海量数据,提出采用规范化元数据管理等方式来实现对电力行业数据的统一存储与管理方案。首先通过数据预处理,将不同格式的电力数据统一转换为XML格式数据,然后采用中间件技术实现对XML数据抽取与访问;其次,针对大规模数据存储问题,提出基于哈希分桶算法对数据进行存储,以提高数据存储的效率;再次采用MapReduce框架对数据进行查询;通过对电力行业的部分数据进行查询试验,结果表明在查询时间方面,具有优势。 展开更多

关键词 元数据 哈希分桶算法 MAPREDUCE框架

下载PDF 职称材料