期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
一种基于动态空间划分和压缩布隆过滤器相结合的分布式元数据负载均衡算法
1
作者 薛梅婷 俞万刚 +3 位作者 张纪林 曾艳 袁俊峰 周丽 《计算机工程与科学》 CSCD 北大核心 2024年第8期1381-1389,共9页
分布式元数据管理系统利用多个元数据服务器对大量元数据进行存储和管理。该系统将海量元数据通过不同的映射策略分配到不同的元数据服务器上,减少单台元数据服务器所处理的数据量,从而减少磁盘访问次数,进而提高整个元数据管理系统的... 分布式元数据管理系统利用多个元数据服务器对大量元数据进行存储和管理。该系统将海量元数据通过不同的映射策略分配到不同的元数据服务器上,减少单台元数据服务器所处理的数据量,从而减少磁盘访问次数,进而提高整个元数据管理系统的性能。元数据管理系统通常会使用哈希函数将元数据键映射到不同的元数据服务器中。然而,当数据特征值相似时,由于散列函数的单向性,会导致数据分布不均衡的问题,造成元数据服务器性能下降。为解决上述问题,提出了一种动态空间划分和压缩布隆过滤器相结合的元数据负载均衡算法,该算法首先构建一个哈希桶来组织元数据键,通过哈希算法将元数据键映射到不同的哈希桶中;在映射过程中,根据元数据服务器的负载情况动态调整目标哈希桶,并在上述哈希桶中有序地保存元数据键的映射信息。当访问元数据时,首先通过压缩布隆过滤器对元数据键进行预处理,然后通过二分查找在指定的哈希桶中进行元数据映射信息的查找。与近年来提出的元数据管理算法相比,所提算法在映射键发生倾斜时仍能保证元数据服务器负载均衡,并通过对比实验表明,所提算法相比最优的元数据管理算法,在内存占用仅提升2%的条件下,获得了20%的搜索性能提升。 展开更多
关键词 分布式元数据管理 负载均衡算法 一致性哈希 压缩布隆过滤器
下载PDF
无线传感器网络溯源数据压缩传输技术综述 被引量:7
2
作者 郑文怡 毛健 《江苏大学学报(自然科学版)》 EI CAS CSCD 北大核心 2016年第5期572-577,603,共7页
在无线传感器网络WSN(wireless sensor network)中,溯源数据(provenance)记录了一个数据包从产生至被传输到基站的全过程,是评估数据可信性的重要依据.随着数据包传输路径的长度增长,溯源数据会迅速膨胀,通常采用provenance压缩算法以... 在无线传感器网络WSN(wireless sensor network)中,溯源数据(provenance)记录了一个数据包从产生至被传输到基站的全过程,是评估数据可信性的重要依据.随着数据包传输路径的长度增长,溯源数据会迅速膨胀,通常采用provenance压缩算法以有效地节约网络能耗和通信带宽.给出provenance数据模型的形式化定义;采用分类研究的方法,分析基于布隆过滤器和概率包标记的有损压缩方法;对比基于算术编码和字典的无损压缩方法,并总结每种方法的优缺点及其编、解码算法;最后对溯源数据的研究趋势做出展望. 展开更多
关键词 无线传感器网络 溯源数据 压缩 布隆过滤器 算术编码
下载PDF
面向大规模语料的语言模型研究新进展 被引量:5
3
作者 骆卫华 刘群 白硕 《计算机研究与发展》 EI CSCD 北大核心 2009年第10期1704-1712,共9页
N元语言模型是统计机器翻译、信息检索、语音识别等很多自然语言处理研究领域的重要工具.由于扩大训练语料规模和增加元数对于提高系统性能很有帮助,随着可用语料迅速增加,面向大规模训练语料的高元语言模型(如N≥5)的训练和使用成为新... N元语言模型是统计机器翻译、信息检索、语音识别等很多自然语言处理研究领域的重要工具.由于扩大训练语料规模和增加元数对于提高系统性能很有帮助,随着可用语料迅速增加,面向大规模训练语料的高元语言模型(如N≥5)的训练和使用成为新的研究热点.介绍了当前这个问题的最新研究进展,包括了集成数据分治、压缩和内存映射的一体化方法,基于随机存取模型的表示方法,以及基于分布式并行体系的语言模型训练与查询方法等几种代表性的方法,展示了它们在统计机器翻译中的性能,并比较了这些方法的优缺点. 展开更多
关键词 语言模型 数据压缩 随机存取模型 布隆过滤器 分布式并行体系
下载PDF
基于Bloom Filter的XML数据流压缩技术研究
4
作者 裴喜春 《太原科技》 2010年第3期87-89,共3页
现今,XML数据管理的一个重要问题是如何对XML数据进行高效的查询处理。以XML数据流的压缩为目标,提出了一种基于BloomFilter的XML数据流压缩技术,利用Dom4j的Aelfred2解析器对XMLSchema进行解析,构建dom4j树,采用压缩布鲁姆过滤器思想... 现今,XML数据管理的一个重要问题是如何对XML数据进行高效的查询处理。以XML数据流的压缩为目标,提出了一种基于BloomFilter的XML数据流压缩技术,利用Dom4j的Aelfred2解析器对XMLSchema进行解析,构建dom4j树,采用压缩布鲁姆过滤器思想进行算术编码,达到压缩的目的。 展开更多
关键词 XML数据流 压缩 布鲁姆过滤器
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部