几种常用无损数据压缩算法研究 被引量：45

1

作者 郑翠芳 《计算机技术与发展》 2011年第9期73-76,共4页

随着网络承载的信息量的飞速增长,数据压缩必然会备受人们重视。数据压缩可分成两种类型,一种叫做无损压缩,另一种叫做有损压缩。文中主要介绍目前用得最多和技术最成熟的无损数据压缩技术,按照无损压缩方法采用的压缩技术的不同,从基... 随着网络承载的信息量的飞速增长,数据压缩必然会备受人们重视。数据压缩可分成两种类型,一种叫做无损压缩,另一种叫做有损压缩。文中主要介绍目前用得最多和技术最成熟的无损数据压缩技术,按照无损压缩方法采用的压缩技术的不同,从基于统计的压缩思想和基于字典的压缩思想两个方面对其中最具有代表性的无损数据压缩方法进行了详细的分类讨论和优缺点比较,并对基于字典压缩算法的一些成熟的改进算法进行了汇总介绍,便于对无损数据压缩技术感兴趣的同志学习参考。 展开更多

关键词 数据压缩 无损数据压缩 统计压缩算法 字典压缩算法

下载PDF 职称材料

广域测量系统数据在线无损压缩算法 被引量：9

2

作者 齐文斌 李东平 +1 位作者 杨东 吴京涛 《电网技术》 EI CSCD 北大核心 2008年第8期86-90,共5页

广域测量系统(wide-area measurement system,WAMS)中,相量测量装置(phasor measurement unit,PMU)上传数据频率为100Hz,存储占用空间和写入速度对系统要求很高。旋转门(swing door trending,SDT)压缩算法在保留原始数据足够精度的条件... 广域测量系统(wide-area measurement system,WAMS)中,相量测量装置(phasor measurement unit,PMU)上传数据频率为100Hz,存储占用空间和写入速度对系统要求很高。旋转门(swing door trending,SDT)压缩算法在保留原始数据足够精度的条件下,压缩效率低,Huffman编码压缩计算时间长,难以适应WAMS实时数据的采样速度。文中给出了一种WAMS实时数据在线压缩算法:对原始数据做初等变换,只保存过程数据的增量,浮点(float)型数据分解为单字节存取,用改进的LZW(Lemple-Ziv-Welch)算法实现WAMS过程数据的在线无损压缩。6000个连续实时数据压缩计算时间为16ms,压缩比小于30%,可以满足电力系统分析计算对过程数据的要求。工程实践表明,该算法有效可靠,可满足WAMS实时数据的存储要求。 展开更多

关键词 广域测量系统 电力系统 数据存储 无损压缩 压缩算法

下载PDF 职称材料

测井数据的无损压缩方法研究 被引量：5

3

作者 汉泽西 郭枫 吕飞 《现代电子技术》 2004年第22期94-96,共3页

为了获得更精确信息 ,在石油测井中 ,原始数据量越来越大。因为数据传输带宽的限制和实时的要求 ,原始数据传输前的压缩处理渐渐成为必需。本文在分析测井数据特征的基础上 ,讨论了几种测井数据的压缩算法。

关键词 无损数据压缩 测井数据 石油 算法

下载PDF 职称材料

基于广义规范Huffman树的高效编解码算法 被引量：5

4

作者 郭建光 张卫杰 +2 位作者 杨健 安文韬 熊涛 《清华大学学报（自然科学版）》 EI CAS CSCD 北大核心 2009年第1期73-77,共5页

为了减少编码时消耗的时间和空间,以便适应实时处理,提出了基于广义规范Huffman树的高效数据压缩算法。该算法利用层次和概率表顺序,保证编、解码的唯一性;利用移动排序替代搜索;建立索引表来简化排序操作;融入均衡编码的思想。同时,根... 为了减少编码时消耗的时间和空间,以便适应实时处理,提出了基于广义规范Huffman树的高效数据压缩算法。该算法利用层次和概率表顺序,保证编、解码的唯一性;利用移动排序替代搜索;建立索引表来简化排序操作;融入均衡编码的思想。同时,根据编码思想提出了相应的解码算法。通过实际数据验证,与传统的Huffman算法相比,该算法在时间和空间效率上有了一定提高,且使得码字更为均衡。 展开更多

关键词 无损数据压缩 HUFFMAN编码 广义规范Huffman树 均衡编码

原文传递

基于滤波器组的ECG无损数据压缩技术 被引量：1

5

作者 阎相国 郑崇勋 +1 位作者 伍晓宇 刘峰 《中国生物医学工程学报》 CAS CSCD 北大核心 2001年第5期417-422,共6页

本文提出了一种基于整 整映射滤波组的数据无损压缩算法和优化编码方案。以MIT BIH心律失常数据库为基础 ,通过多级整 整变换把心电信号 (ECG)分解成在不同频带上的频率成分 ,然后对分解后的变换数据作统计分析 ,按空间优化和速度优... 本文提出了一种基于整 整映射滤波组的数据无损压缩算法和优化编码方案。以MIT BIH心律失常数据库为基础 ,通过多级整 整变换把心电信号 (ECG)分解成在不同频带上的频率成分 ,然后对分解后的变换数据作统计分析 ,按空间优化和速度优化并重的原则 ,提出一种适合ECG无损压缩的优化编码方法。用MIT BIH(采样率为 36 0Hz)数据库测试表明该算法的平均数据无损压缩率为 2 .5 2 ,平均解码次数为 1.375 ,,其中 72 %的数据仅需一次解码。这种数据无损压缩算法可用于开发更高性能的Holter系统。 展开更多

关键词 心电图 滤波器组 数据无损压缩 优化编码 HOLTER

下载PDF 职称材料

激光凹印制版设备及其关键技术分析 被引量：6

6

作者 夏琴香 王甲子 +2 位作者 周思聪 秦学锋 王石子 《包装工程》 CAS CSCD 北大核心 2008年第7期37-39,45,共4页

阐述了国内外凹印制版技术的研究现状和发展状况,介绍了激光凹印制版的工艺过程、工作原理。对激光凹印制版设备中图形图像处理系统、控制系统、激光器和光学系统等进行了重点分析,指出制版图像文件数据无损压缩、嵌入式控制系统、高频... 阐述了国内外凹印制版技术的研究现状和发展状况,介绍了激光凹印制版的工艺过程、工作原理。对激光凹印制版设备中图形图像处理系统、控制系统、激光器和光学系统等进行了重点分析,指出制版图像文件数据无损压缩、嵌入式控制系统、高频高能以及分光分时等技术是当前开发激光凹印制版技术以及研制激光凹印制版设备的关键,最后对激光凹印制版设备的应用前景和发展方向进行了展望。 展开更多

关键词 激光 凹印制版 数据无损压缩 嵌入式系统 分光分时

下载PDF 职称材料

基于SDES和双轮差错控制的大数据集成安全系统

7

作者 宁光芳 《计算机应用与软件》 北大核心 2024年第1期310-314,共5页

针对大数据传输中的数据机密性、完整性和数据丢失等问题,提出一种基于简化数据加密标准(Simplified Data Encryption Standard,SDES)和双轮差错控制的大数据集成安全系统。使用SDES加密算法生成加密字符串,并设计意外数据丢失备份系统... 针对大数据传输中的数据机密性、完整性和数据丢失等问题,提出一种基于简化数据加密标准(Simplified Data Encryption Standard,SDES)和双轮差错控制的大数据集成安全系统。使用SDES加密算法生成加密字符串,并设计意外数据丢失备份系统以提高机密性和防止意外数据丢失。基于双轮差错控制以较低的空间开销控制传输过程中包含的任意数量的离散或连续错误位,基于固定长度编码(Fixed Length Coding,FLC)的无损压缩技术来减少数据开销。该算法具有较高的AE值、熵和压缩百分比,具有提供更高的数据机密性和完整性的潜力。 展开更多

关键词 大数据传输安全 简化数据加密标准 无损数据压缩 双轮异或运算控制传输错误

下载PDF 职称材料

智能配电网监测系统的无损数据压缩方案 被引量：6

8

作者 陈赟 王宇雷 《广东电力》 2021年第5期90-98,共9页

为提高电力系统数据压缩方法的实时性和适应性,提出一种适用于智能配电网监测系统的无损数据压缩方案,该方案通过对当前监测数据的取值进行预测,计算实际值与预测值的残差,并对残差值进行改进的行程编码与霍夫曼编码,实现对智能配电网... 为提高电力系统数据压缩方法的实时性和适应性,提出一种适用于智能配电网监测系统的无损数据压缩方案,该方案通过对当前监测数据的取值进行预测,计算实际值与预测值的残差,并对残差值进行改进的行程编码与霍夫曼编码,实现对智能配电网监测数据的无损压缩。预测方法采用基于2阶泰勒公式的预测法。通过对预测方法和压缩方案的分别仿真,证明所提预测方法和压缩方案各自的有效性。另外,所提的无损数据压缩方案无需添加时间窗,适用于对实时性要求较高的智能配电网监测系统。 展开更多

关键词 智能配电网 无损数据压缩 残差计算 预测方法 行程编码

下载PDF 职称材料

基于可逆整数变换的无损水印新算法 被引量：3

9

作者 林志泉 胡永健 杨晖 《微计算机信息》 北大核心 2007年第04X期199-201,共3页

无损(也叫可逆)水印主要用于数据(如图象)的完整性认证,其特点之一是当加水印图象没有被修改时,所嵌入的水印可以完整地从加水印图象中去除,从而可以在接收端无损地恢复出原始图象。本文提出一种新的基于可逆整数变换的无损水印算法,利... 无损(也叫可逆)水印主要用于数据(如图象)的完整性认证,其特点之一是当加水印图象没有被修改时,所嵌入的水印可以完整地从加水印图象中去除,从而可以在接收端无损地恢复出原始图象。本文提出一种新的基于可逆整数变换的无损水印算法,利用整数变换后图象象素对均值和差值之间所存在的冗余,嵌入认证信息。文献中已有的方法只利用了差值冗余,而我们的算法则进一步考虑了均值和差值的相关性。利用算术编码压缩由二者所得的相关位流,可以获得较大的存储空间和较高的加水印图象质量。 展开更多

关键词 无损水印 可逆水印 可逆整数变换 数据压缩

下载PDF 职称材料

一种基于SCD文件的合并单元高速数据压缩方法 被引量：1

10

作者 陈星田 熊小伏 +1 位作者 白勇 胡海洋 《计算机科学》 CSCD 北大核心 2023年第12期123-129,共7页

在现代智能电网中,智能变电站安装了大量合并单元来同步发布电流互感器和电压互感器的暂态量,这些暂态数据有必要保存长达数年,从而覆盖设备生命周期,为设备状态维修、可靠性等研究提供原始信息支撑,但是如此长时与高频的海量数据给存... 在现代智能电网中,智能变电站安装了大量合并单元来同步发布电流互感器和电压互感器的暂态量,这些暂态数据有必要保存长达数年,从而覆盖设备生命周期,为设备状态维修、可靠性等研究提供原始信息支撑,但是如此长时与高频的海量数据给存储设备带来了巨大压力。文中首先将高频暂态数据分为固定不变的、状态变化的和周期变化的3种形式来进行预处理,将固定不变部分用SCD文件中的唯一标识代替,状态变化部分用事件记录文件代替,周期变化部分用SCD文件中双通道差量和周期差量来表示。然后使用16位哈夫曼完成最终压缩编码,并对比测试了各种预处理前后的压缩结果和不同编码的压缩结果。最终的测试结果表明该压缩方法比普通硬件压缩卡压缩比更大,压缩速率比普通压缩卡更快。 展开更多

关键词 合并单元采样值 无损数据压缩 哈夫曼编码 LZMA压缩算法 小波变换

下载PDF 职称材料

CCSDS无损数据压缩算法在分包遥测中的应用及其FPGA实现 被引量：5

11

作者 黄佳 曹金 陈夏 《遥测遥控》 2014年第2期43-47,共5页

对CCSDS推荐的无损数据压缩算法（Rice算法）进行研究,介绍Rice算法的基本原理与编码方法以及如何应用到航天测控分包遥测体制中.通过优化Rice算法的FPGA实现,对实际某卫星遥测数据进行压缩试验,压缩比在1.4～2.1之间,对后续研制型号设... 对CCSDS推荐的无损数据压缩算法（Rice算法）进行研究,介绍Rice算法的基本原理与编码方法以及如何应用到航天测控分包遥测体制中.通过优化Rice算法的FPGA实现,对实际某卫星遥测数据进行压缩试验,压缩比在1.4～2.1之间,对后续研制型号设计遥测存储、传输方案有一定指导意义. 展开更多

关键词 分包遥测 CCSDS建议 无损数据压缩 FPGA实现

下载PDF 职称材料

远程故障诊断系统通信数据压缩技术研究与验证 被引量：3

12

作者 张隽 翟正军 +1 位作者 姜红梅 韩玮 《计算机测量与控制》 CSCD 北大核心 2009年第1期49-52,共4页

根据远程故障诊断的测试数据的网络传输特点,在详细分析和比较了多种数据压缩算法的基础上,针对LZW算法字典列表长度有限、查找时间长等问题,利用加入了动态延伸列表长度、根据压缩比例调整已有的字典内容和哈希函数查找等方法,对LZW算... 根据远程故障诊断的测试数据的网络传输特点,在详细分析和比较了多种数据压缩算法的基础上,针对LZW算法字典列表长度有限、查找时间长等问题,利用加入了动态延伸列表长度、根据压缩比例调整已有的字典内容和哈希函数查找等方法,对LZW算法提出了改进措施;同时,引入MPEG帧间压缩的思想,设计了一种新的"周期性差值压缩方法",将改进的LZW数据压缩算法与"周期性差值压缩方法"相结合,构成了更有效的级联数据压缩方法,有效地提高了数据压缩比率和效率,并且该算法的处理速度能够满足远程故障诊断系统对通信的要求。 展开更多

关键词 远程故障诊断系统 数据无损压缩 级联数据压缩

下载PDF 职称材料

基于稀疏表示的数据无失真压缩模型构建

13

作者 孙壮 《电子设计工程》 2023年第23期41-44,49,共5页

信息化技术在相关领域应用逐渐加深,使得数据量急剧增加,造成数据存储空间不足、需求数据寻找困难等问题,制约着管理水平的提升与企业的可持续发展,因此构建基于稀疏表示的数据无失真压缩模型。应用超完备字典学习方法稀疏表示数据,以... 信息化技术在相关领域应用逐渐加深,使得数据量急剧增加,造成数据存储空间不足、需求数据寻找困难等问题,制约着管理水平的提升与企业的可持续发展,因此构建基于稀疏表示的数据无失真压缩模型。应用超完备字典学习方法稀疏表示数据,以稀疏系数向量为基础,计算数据之间的相似度,基于谱聚类算法聚类处理数据,利用MTDimpute算法填补缺失数据,以缺失填补后的数据聚类集合为依据,通过PredZip算法(算术编码阶段与概率预测阶段)实现数据的无失真压缩。实验数据显示,应用构建模型获得的数据压缩增益最大值为18.8,压缩比最小值为0.1,压缩失真率最小值为0.5%,充分证实了构建模型数据压缩性能更优质,适合大力推广与应用。 展开更多

关键词 无失真压缩 数据预处理 稀疏表示 数据聚类 数据压缩

下载PDF 职称材料

用于空间数据系统的无损数据压缩技术 被引量：4

14

作者 李维忠 贾小铁 徐志立 《计算机科学》 CSCD 北大核心 2003年第11期122-124,共3页

1.引言 在航天科技领域中,由航天器获得的有关图像或非图像的科学数据有必要经过压缩处理后再予以传输.国际空间数据系统咨询委员会(CCSDS)认为这种必要性至少体现在三个方面:节俭传输信道的带宽;降低缓冲及存储设备的需求;以及缩短在... 1.引言 在航天科技领域中,由航天器获得的有关图像或非图像的科学数据有必要经过压缩处理后再予以传输.国际空间数据系统咨询委员会(CCSDS)认为这种必要性至少体现在三个方面:节俭传输信道的带宽;降低缓冲及存储设备的需求;以及缩短在给定速率下的传输时间. 展开更多

关键词 空间数据系统 无损数据压缩技术 带宽 传输时间 HUFFMAN编码 算术编码 信源编码原理 图像数据

下载PDF 职称材料

应用于毫米波系统的FPGA实时压缩算法

15

作者 罗志伟 缪晨 +1 位作者 黄志强 吴文 《微波学报》 CSCD 北大核心 2023年第S01期314-317,共4页

现如今毫米波系统对数据实时传输和处理的要求越来越高,为了满足毫米波系统数据处理的实时性要求,本文针对LZ4算法的匹配方式与压缩数据帧进行了优化,并利用FPGA并行处理能力进一步提高了LZ4算法的压缩速率,保证了压缩算法传输数据的实... 现如今毫米波系统对数据实时传输和处理的要求越来越高,为了满足毫米波系统数据处理的实时性要求,本文针对LZ4算法的匹配方式与压缩数据帧进行了优化,并利用FPGA并行处理能力进一步提高了LZ4算法的压缩速率,保证了压缩算法传输数据的实时性,降低了压缩算法的延迟时间。优化后的压缩算法单通道压缩速率为199.2MBps,单通道的压缩速率相较于以往的压缩速率最快的LZ4算法提升约25.80%,使用多通道同时工作的数据压缩速率达到12.76Gbps。 展开更多

关键词 毫米波 实时压缩 无损数据压缩 压缩速率优化 FPGA

下载PDF 职称材料

一种易于硬件实现的LZW算法的应用 被引量：3

16

作者 韩慧 《电子技术应用》 北大核心 2015年第2期68-71,共4页

实测表明,遥测系统传输的数据冗余度高达90%,这严重降低了遥测系统的工作性能,而目前还没有针对遥测数据硬件压缩系统而设定的数据无损压缩的统一标准。为了实现遥测数据硬件系统的无损压缩,通过适当增加字典的分配空间,优化LZW算法的... 实测表明,遥测系统传输的数据冗余度高达90%,这严重降低了遥测系统的工作性能,而目前还没有针对遥测数据硬件压缩系统而设定的数据无损压缩的统一标准。为了实现遥测数据硬件系统的无损压缩,通过适当增加字典的分配空间,优化LZW算法的查找方式,改进LZW算法的字典更新方法,调试出了一种易于硬件实现的LZW算法。最终,通过软件仿真及实际测试,结果表明,遥测数据压缩比达1.8:1以上,完成了设计的预期目标。 展开更多

关键词 LZW 无损压缩 遥测 数据压缩

下载PDF 职称材料

多媒体数据压缩技术探析 被引量：2

17

作者 简艳英 《漯河职业技术学院学报》 2008年第2期65-66,共2页

随着互联网的普及,人们对信息的需求尤其是多媒体信息的需求日益增长。为保障大容量的多媒体数据在互联网上的有效传输,必须对多媒体数据进行压缩处理。利用有损压缩‘和无损压缩方法,对图像、音频、视频等多媒体数据进行压缩,形成联合... 随着互联网的普及,人们对信息的需求尤其是多媒体信息的需求日益增长。为保障大容量的多媒体数据在互联网上的有效传输,必须对多媒体数据进行压缩处理。利用有损压缩‘和无损压缩方法,对图像、音频、视频等多媒体数据进行压缩,形成联合图像专家组JPEG和运动图像专家组MPEG等常用压缩标准。 展开更多

关键词 多媒体 数据压缩 压缩标准

下载PDF 职称材料

无损压缩算法LZSS的分块性能研究 被引量：1

18

作者 常为领 云晓春 +2 位作者 李超 李楠宁 包秀国 《计算机研究与发展》 EI CSCD 北大核心 2012年第S2期165-172,共8页

分块压缩算法直接影响灾备系统中增量备份的性能.增量备份的数据量与3个因素相关:上层应用、数据是否压缩、磁盘分块粒度等.此外,可能还需要使用加密算法对数据进行加密,磁盘分块粒度的大小甚至决定着增量备份功能的实现,因此需要研究... 分块压缩算法直接影响灾备系统中增量备份的性能.增量备份的数据量与3个因素相关:上层应用、数据是否压缩、磁盘分块粒度等.此外,可能还需要使用加密算法对数据进行加密,磁盘分块粒度的大小甚至决定着增量备份功能的实现,因此需要研究压缩算法的分块性能.研究了LZSS算法在分块模式下的压缩性能以及影响LZSS性能最重要的两个参数IA字段位长(滑动窗口大小)及Len字段位长(匹配短语长度)对分块LZSS压缩性能的影响,以此确定与灾备系统相匹配的最佳分块大小.理论分析与实验结果表明,IA字段位长对分块LZSS的压缩性能影响较大,最佳分块大小随着IA字段位长的增大而增大,而Len字段位长对分块LZSS压缩率的影响较小,对最佳分块的决策影响可以忽略不计.时间性能方向,造成分块LZSS时间性能降低的原因主要在于小分块引起的IO负担,而与LZSS算法本身无关. 展开更多

关键词 LZSS 无损压缩 分块压缩

下载PDF 职称材料

一种基于变位与反转变换的动态规划压缩算法 被引量：2

19

作者 丁爱芬 周华君 石宜金 《西南师范大学学报（自然科学版）》 CAS 北大核心 2020年第1期37-41,共5页

针对数据区域的集中化程度和平滑度特征,采用变位标识方法和反转变换策略,降低较大值数据区域的凹凸度,实现了数据无损压缩效率的提升.对比试验结果显示新算法的整体压缩效率优于原数据压缩算法和huffman统计编码.算法非常适合大数据环... 针对数据区域的集中化程度和平滑度特征,采用变位标识方法和反转变换策略,降低较大值数据区域的凹凸度,实现了数据无损压缩效率的提升.对比试验结果显示新算法的整体压缩效率优于原数据压缩算法和huffman统计编码.算法非常适合大数据环境的磁盘存储、网络传输和应用先进等流式压缩场景. 展开更多

关键词 无损数据压缩 变位标识 反转变换 流式压缩

下载PDF 职称材料

基于FPGA的数据压缩算法的硬件系统设计与实现 被引量：1

20

作者 陈娟 吕晶晶 赵晶亮 《可编程控制器与工厂自动化（PLC FA）》 2011年第9期96-97,106,共3页

针对大量数据占用存储空间大和在通信中传输速度慢的问题,本文提出了一种基于FPGA的数据无损压缩系统设计,并采用VHDL硬件编程语言实现了基于字典的无损压缩算法LZW编码算法。采用该算法能够有效的减少存储空间,获得较大的数据压缩率。

关键词 无损压缩 数据压缩 压缩率

下载PDF 职称材料