一种改进的视频关键帧提取算法研究 被引量：18

1

作者 瞿中 高腾飞 张庆庆 《计算机科学》 CSCD 北大核心 2012年第8期300-303,共4页

视频镜头分割和关键帧提取是基于内容的视频检索的核心问题。提出了一种改进的关键帧提取算法,其为视频检索奠定了基础,镜头分割部分采用改进直方图方法及基于像素方法的综合方法。首先,通过结合直方图交集及非均匀分块加权的改进直方... 视频镜头分割和关键帧提取是基于内容的视频检索的核心问题。提出了一种改进的关键帧提取算法,其为视频检索奠定了基础,镜头分割部分采用改进直方图方法及基于像素方法的综合方法。首先,通过结合直方图交集及非均匀分块加权的改进直方图方法,根据视频内容将视频分割为镜头;然后,利用基于像素的帧差法,对得到的检测镜头进行二次检测,优化检测结果;最后,在HSV颜色空间的基础上,计算每个镜头内每帧的图像熵,从而确定关键帧序列。实验结果表明,提出的改进算法所得到的关键帧结构紧凑且分布均匀。 展开更多

关键词 视频镜头检测 关键帧提取 帧差法 图像熵 视频检索

下载PDF 职称材料

图象和视频的检索技术 被引量：8

2

作者 樊凌涛 陈健 《计算机工程与应用》 CSCD 北大核心 2001年第9期71-77,共7页

随着网络技术的发展，多媒体数据将成为网络服务的主要内容，因此对多媒体数据管理问题的研究成为近几年的热点。由于媒体信息表现性质的不同，传统关系数据库的检索方式不再适用于图象和视频，因此，必须采用基于自身内容的检索方式。... 随着网络技术的发展，多媒体数据将成为网络服务的主要内容，因此对多媒体数据管理问题的研究成为近几年的热点。由于媒体信息表现性质的不同，传统关系数据库的检索方式不再适用于图象和视频，因此，必须采用基于自身内容的检索方式。文章对基于内容的图象和视频检索技术分不同层次进行了全面的总结，内容包括依据基本特征，色彩、纹理、形状、和位置关系的技术，视频的场景分割、关键帧提取技术以及基于声音、文字的检索技术等，并阐述了各种方法的优缺点，现状及发展方向。 展开更多

关键词 多媒体数据库 视频分割 关键帧提取 图象检索 视频检索

下载PDF 职称材料

数据驱动人体动画的关键帧技术研究综述 被引量：7

3

作者 刘贤梅 赵丹 赵娅 《计算机工程与设计》 CSCD 北大核心 2011年第3期1006-1009,共4页

基于关键帧技术的运动捕获数据驱动人体动画,因其捕获的数据具有高度逼真性和实时处理能力使之成为应用广泛的人体动画方法。对现有基于运动捕获数据的3维人体动画关键帧技术进行了系统分析和阐述,介绍了运动捕获数据及其表现形式,从捕... 基于关键帧技术的运动捕获数据驱动人体动画,因其捕获的数据具有高度逼真性和实时处理能力使之成为应用广泛的人体动画方法。对现有基于运动捕获数据的3维人体动画关键帧技术进行了系统分析和阐述,介绍了运动捕获数据及其表现形式,从捕获数据的角度分析并比较了基于自适应采样的关键帧提取技术、基于运动速度控制的关键帧插值技术及基于运动特征和运动模型的关键帧检索技术,对3维人体运动关键帧技术中的难点问题及进一步研究方向进行了展望。 展开更多

关键词 关键帧 运动捕获 关键帧提取 关键帧插值 关键帧检索

下载PDF 职称材料

基于Transformer紧凑编码的局部近重复视频检测算法

4

作者 王萍 余圳煌 鲁磊 《计算机科学》 CSCD 北大核心 2024年第5期108-116,共9页

针对现有局部近重复视频检测算法特征存储消耗大、整体查询效率低、提取特征时并未考虑近重复帧之间细微的语义差异等问题,文中提出了一种基于Transformer紧凑编码的局部近重复视频检测算法。首先,提出了一个基于Transformer的特征编码... 针对现有局部近重复视频检测算法特征存储消耗大、整体查询效率低、提取特征时并未考虑近重复帧之间细微的语义差异等问题,文中提出了一种基于Transformer紧凑编码的局部近重复视频检测算法。首先,提出了一个基于Transformer的特征编码器,其学习了大量近重复帧之间细微的语义差异,可以在编码帧特征时对各个区域特征图引入自注意力机制,在有效降低帧特征维度的同时也提高了编码后特征的表示性。该特征编码器通过孪生网络训练得到,该网络不需要负样本就可以有效学习近重复帧之间的相似语义信息,因此无需沉重和困难的难负样本标注工作,使得训练过程更加简易和高效。其次,提出了一个基于视频自相似度矩阵的关键帧提取方法,可以从视频中提取丰富但不冗余的关键帧,从而使关键帧特征序列能够更全面地描述原视频内容,提升算法的性能,同时也大幅减少了存储和计算冗余关键帧带来的开销。最后,基于关键帧的低维紧凑编码特征,采用基于图网络的时间对齐算法,实现局部近重复视频片段的检测和定位。该算法在公开的局部近重复视频检测数据集VCDB上取得了优于现有算法的实验性能。 展开更多

关键词 局部近重复视频检测 TRANSFORMER 视频自相似度矩阵 关键帧提取

下载PDF 职称材料

基于关键帧提取与图像识别的电网设施数字化重建

5

作者 陈志永 韩璟琳 +3 位作者 刘洋 李光毅 蒋雨 蔡瑞天 《中国电力》 CSCD 北大核心 2024年第9期217-223,共7页

提出一种基于视频关键帧提取与图像识别的电网设施数字化重建方案。首先,通过移动作业终端拍摄待重建设施的视频序列,提取视频的关键帧并利用YOLOv5网络识别并提取电力设施锚框去除环境背景,构造图像集;然后,以运动恢复结构为原理进行... 提出一种基于视频关键帧提取与图像识别的电网设施数字化重建方案。首先,通过移动作业终端拍摄待重建设施的视频序列,提取视频的关键帧并利用YOLOv5网络识别并提取电力设施锚框去除环境背景,构造图像集;然后,以运动恢复结构为原理进行三维重建,提出改进定向快速旋转算法提高相机位姿计算精度,进而实现电网设施三维模型重建;最后,以变压器为例,验证所提方法可以有效完成电力设施三维模型的重建。 展开更多

关键词 数字孪生 关键帧提取 图像识别

下载PDF 职称材料

基于超图排序算法的视频摘要 被引量：5

6

作者 冀中 樊帅飞 《电子学报》 EI CAS CSCD 北大核心 2017年第5期1035-1043,共9页

技术作为一种快速感知视频内容的方式得到了广泛的关注.现有基于图模型的视频摘要方法将视频帧作为顶点,通过边表示两个顶点之间的关系,但并不能很好地捕获视频帧之间的复杂关系.为了克服该缺点,本文提出了一种基于超图排序算法的静态... 技术作为一种快速感知视频内容的方式得到了广泛的关注.现有基于图模型的视频摘要方法将视频帧作为顶点,通过边表示两个顶点之间的关系,但并不能很好地捕获视频帧之间的复杂关系.为了克服该缺点,本文提出了一种基于超图排序算法的静态视频摘要方法(Hyper-Graph Ranking based Video Summarization,HGRVS).HGRVS方法首先通过构建视频超图模型,将任意多个有内在关联的视频帧使用一条超边连接;然后提出一种基于超图排序的视频帧分类算法将视频帧按内容分类;最后通过求解提出的一种优化函数来生成静态视频摘要.在Open Video Project和YouTube两个数据集上的大量主观与客观实验验证了所提HGRVS算法的优良性能. 展开更多

关键词 视频摘要 超图 超图排序 视频帧分类 关键帧提取

下载PDF 职称材料

姿态估计和跟踪结合的运动视频关键帧提取 被引量：5

7

作者 石念峰 侯小静 +1 位作者 张平 孙西铭 《电视技术》 北大核心 2017年第4期37-46,共10页

提出姿态估计和特定部位跟踪相结合的动作视频关键帧提取算法。首先利用非确定人体部位的时间连续性保持提高基于柔性部件铰接人体模型的单帧图像人体姿态估计准确率,通过实施数据降维得到局部拓扑结构表达能力强的判别性运动特征向量,... 提出姿态估计和特定部位跟踪相结合的动作视频关键帧提取算法。首先利用非确定人体部位的时间连续性保持提高基于柔性部件铰接人体模型的单帧图像人体姿态估计准确率,通过实施数据降维得到局部拓扑结构表达能力强的判别性运动特征向量,采用极值判定原理确定候选关键帧集合。然后利用ISODATA动态聚类算法,通过初始聚类中心优化、基于语义的关键帧集合增强等策略确定关键帧。实验表明文中算法具有较高的关键帧提取准确率和召回率,支持基于语义的关键帧提取。提取的视频关键帧可以用于运动视频压缩和批注审阅。 展开更多

关键词 关键帧提取 运动视频 姿态估计 拉普拉斯降维 特征选择 ISODATA

下载PDF 职称材料

连续复合运动的多模态层次化关键帧提取方法

8

作者 于艺旋 杨耕 耿华 《山东大学学报（工学版）》 CAS CSCD 北大核心 2023年第2期42-50,共9页

针对连续复合运动的关键帧对应的空间范围差异较大且存在重复,难以采用固定的空间特征标准提取的问题,提出一种基于多模态分段与聚类的层次化关键帧提取方法。在完整运动层面按照背景音乐节拍与时空信息等多模态信息将运动序列分割为多... 针对连续复合运动的关键帧对应的空间范围差异较大且存在重复,难以采用固定的空间特征标准提取的问题,提出一种基于多模态分段与聚类的层次化关键帧提取方法。在完整运动层面按照背景音乐节拍与时空信息等多模态信息将运动序列分割为多个片段;对各片段内部的帧进行空间特征聚类与时序分割,得到若干具有代表性的、姿势可能重复的候选关键帧;根据运动的时空特性消除冗余。以广播体操运动为例提取关键帧并与现有方法进行对比试验与分析,本研究方法能够更加准确、充分地提取运动的关键帧。 展开更多

关键词 关键帧提取 连续复合运动 层次化 多模态 时间序列分割

原文传递

基于混合遗传算法的人体运动捕获数据关键帧提取 被引量：4

9

作者 刘贤梅 郝爱民 赵丹 《模式识别与人工智能》 EI CSCD 北大核心 2011年第5期619-628,共10页

为实现基于最佳关键帧集合的人体运动的紧致表示,提出一种遗传算法与单纯形法结合的人体运动捕获数据关键帧提取方法.以重构误差最小化和压缩率最优为目标,定义适应度函数,度量重构运动与原始运动之间的重构误差,通过关节位置和关节速... 为实现基于最佳关键帧集合的人体运动的紧致表示,提出一种遗传算法与单纯形法结合的人体运动捕获数据关键帧提取方法.以重构误差最小化和压缩率最优为目标,定义适应度函数,度量重构运动与原始运动之间的重构误差,通过关节位置和关节速率加权计算,并考虑数据的运动特性.利用背景知识对初始种群的个体进行优化,保证进化的良好基础和种群的多样性.将遗传算法和局部搜索技术结合,提高算法运行效率和求解质量.实验结果表明,该方法能够高效地从运动捕获数据中提取出最优的关键帧集合,较好地满足运动数据的紧致表示,且能高质量重构其它帧. 展开更多

关键词 计算机动画 运动捕获数据 关键帧提取 单纯形混合遗传算法

原文传递

监控视频中基于运动目标显著性的关键帧提取方法 被引量：2

10

作者 胡圆圆 干宗良 +2 位作者 陈昌红 崔子冠 刘峰 《南京邮电大学学报（自然科学版）》 北大核心 2016年第1期34-41,共8页

文中提出了一种监控视频中基于运动目标显著性的关键帧提取方法。该方法首先对监控视频中的行人进行检测和跟踪,分别提取行人的颜色、纹理与形状3种底层特征并借助肤色模型得到能够凸显人脸区域的肤色置信图,然后将3种特征图像和肤色置... 文中提出了一种监控视频中基于运动目标显著性的关键帧提取方法。该方法首先对监控视频中的行人进行检测和跟踪,分别提取行人的颜色、纹理与形状3种底层特征并借助肤色模型得到能够凸显人脸区域的肤色置信图,然后将3种特征图像和肤色置信图动态加权融合得到多特征融合图像,最后以行人目标的多特征融合图像以及跟踪结果为参考,选取出目标显著性程度最大的融合图像对应的视频帧为关键帧。实验结果表明,文中提出的关键帧提取算法能够快速掌握监控视频中的行人信息,为视频后处理提供运动目标有效的处理样本。 展开更多

关键词 关键帧提取 视频后处理 底层特征 动态加权融合 监控视频

下载PDF 职称材料

基于层次聚类和TextRank的视频摘要 被引量：2

11

作者 张璐 吕进来 《计算机工程与设计》 北大核心 2019年第7期1945-1949,共5页

为解决基于聚类算法的视频摘要中存在的需要预先设定聚类中心和聚类数目及选取的关键帧不具有代表性的问题,提出一种基于层次聚类与TextRank算法的静态视频摘要方法。使用层次聚类算法对视频帧进行聚类,利用TextRank算法选取候选关键帧... 为解决基于聚类算法的视频摘要中存在的需要预先设定聚类中心和聚类数目及选取的关键帧不具有代表性的问题,提出一种基于层次聚类与TextRank算法的静态视频摘要方法。使用层次聚类算法对视频帧进行聚类,利用TextRank算法选取候选关键帧集合,通过求解优化函数选择最终的关键帧生成视频摘要。实验结果表明,该方法生成的视频摘要能够比较全面准确地表达视频内容且冗余度低。 展开更多

关键词 视频摘要 视频帧分类 关键帧提取 层次聚类 TextRank算法

下载PDF 职称材料

基于支配集的视频关键帧提取方法 被引量：2

12

作者 聂秀山 柴彦娥 滕聪 《计算机研究与发展》 EI CSCD 北大核心 2015年第12期2879-2887,共9页

关键帧提取是视频处理的重要步骤之一,在视频内容分析中有广泛的应用.针对基于内容的视频分析,为获取高效的视频摘要提出一种视频关键帧提取方法.该方法首先以视频帧为顶点,以顶点之间的连线构造边,利用不同帧的加速鲁棒特征点的豪斯多... 关键帧提取是视频处理的重要步骤之一,在视频内容分析中有广泛的应用.针对基于内容的视频分析,为获取高效的视频摘要提出一种视频关键帧提取方法.该方法首先以视频帧为顶点,以顶点之间的连线构造边,利用不同帧的加速鲁棒特征点的豪斯多夫(Hausdorff)距离函数计算边权重,把视频建模成一个无向权重图,然后根据图的支配集理论把视频关键帧提取等价为无向权重图的极小支配集选取问题,进而利用整数线性规划选取图支配集,得到视频关键帧.与传统算法相比,该方法提取的关键帧依赖于视频内容,不受时间和视频镜头约束.实验结果显示,该方法能够体现关键帧的代表性和区分性,具有较高的保真度和压缩率. 展开更多

关键词 视频摘要 关键帧提取 图建模 支配集 整数规划 加速鲁棒特征

下载PDF 职称材料

基于用户兴趣语义的视频关键帧提取 被引量：2

13

作者 俞璜悦 王晗 郭梦婷 《计算机应用》 CSCD 北大核心 2017年第11期3139-3144,共6页

目前,视频关键信息提取技术主要集中于根据视频低层特征进行关键帧的提取,忽略了与用户兴趣相关的语义信息。对视频进行语义建模需收集大量已标注的视频训练样本,费时费力。为缓解这一问题,使用大量互联网图像数据构建基于用户兴趣的语... 目前,视频关键信息提取技术主要集中于根据视频低层特征进行关键帧的提取,忽略了与用户兴趣相关的语义信息。对视频进行语义建模需收集大量已标注的视频训练样本,费时费力。为缓解这一问题,使用大量互联网图像数据构建基于用户兴趣的语义模型,这些图像数据内容丰富、同时涵盖大量事件信息;然而,从互联网获取的图像知识多样且常伴随图像噪声,使用蛮力迁移将大幅影响视频最终提取效果,提出使用近义词联合权重模型衡量互联网中存在差异但语义相近的图像组,并利用这些图像组构建语义模型。通过联合权重学习获取语义权重,每一图像组在知识迁移中所起的作用由权重值决定。使用来自不同视频网站的多段视频对所提方法进行验证,实验结果表明对用户感兴趣的内容进行联合权重语义建模能更加全面、准确地获取信息,从而有效指导视频关键帧提取。 展开更多

关键词 视频检索 关键帧提取 视频分析 知识迁移

下载PDF 职称材料

基于内容代表性评价的关键帧抽取 被引量：2

14

作者 顾益军 解易 夏天 《计算机科学》 CSCD 北大核心 2014年第8期286-288,315,共4页

视频关键帧提取技术是对视频进行摘要来提高视频内容访问效率的一种操作。传统的方法主要采用聚类的方法,未给出可信的关键帧代表性描述。尝试基于图计算算法实现关键帧抽取,该算法可以将一段视频中候选帧及其之间的关系表示成一个相关... 视频关键帧提取技术是对视频进行摘要来提高视频内容访问效率的一种操作。传统的方法主要采用聚类的方法,未给出可信的关键帧代表性描述。尝试基于图计算算法实现关键帧抽取,该算法可以将一段视频中候选帧及其之间的关系表示成一个相关图,通过各帧间基于相关性对相邻帧的分值分配进行迭代计算,实现候选帧内容代表性评价;并提出了一种高效的帧间相关性计算方法。该方法通过两帧图像的最大稳定颜色区域(maximally stable colour region,MSCR)的匹配情况判定它们的相关性。在测试视频上将该算法与传统算法进行了对比测试,测试的结果验证了该算法的有效性。 展开更多

关键词 关键帧提取 相关性计算 视频

下载PDF 职称材料

MPEG压缩域关键帧提取的研究

15

作者 邱多 王成儒 《计算机安全》 2011年第1期14-16,共3页

提出了一种基于MPEG压缩域关键帧的提取方法。首先对MPEG压缩域中实现I帧的提取,然后利用I帧的特征8╳8块的DC系数,计算相邻I帧对应位置的8╳8块的DC系数相似性度量,进而实现镜头的判断,最后利用P帧宏块类型提取关键帧。由于处理过程是... 提出了一种基于MPEG压缩域关键帧的提取方法。首先对MPEG压缩域中实现I帧的提取,然后利用I帧的特征8╳8块的DC系数,计算相邻I帧对应位置的8╳8块的DC系数相似性度量,进而实现镜头的判断,最后利用P帧宏块类型提取关键帧。由于处理过程是直接从MPEG的压缩视频提取,不需要对其完全解压,所以计算复杂度低,提高了提取速度。实验证明该方法效率高,较好地代表了视频内容。 展开更多

关键词 压缩域 关键帧 DC系数 宏块类型

下载PDF 职称材料

融合自适应图卷积与Transformer序列模型的中文手语翻译方法 被引量：1

16

作者 应捷 徐文成 +2 位作者 杨海马 刘瑾 郑乐芊 《计算机应用研究》 CSCD 北大核心 2023年第5期1589-1594,1600,共7页

针对手语翻译方法所存在的动作特征提取以及时序翻译方面存在的问题,提出一种融合自适应图卷积AGCN与Transformer时序模型的AGCN-T手语翻译网络。自适应图卷积网络用于学习手语动作中骨骼节点的交互空间依赖信息;Transformer时序模块捕... 针对手语翻译方法所存在的动作特征提取以及时序翻译方面存在的问题,提出一种融合自适应图卷积AGCN与Transformer时序模型的AGCN-T手语翻译网络。自适应图卷积网络用于学习手语动作中骨骼节点的交互空间依赖信息;Transformer时序模块捕捉手语动作序列的时间关系特征信息并将其翻译成可理解的手语内容。此外,在预处理部分,提出了一种移动窗口的关键帧提取算法,并用MediaPipe姿态估计算法对关键帧图像序列进行骨架提取。实验表明,该方法在大型中文连续手语数据集CCSL的词错率达到了3.75%,精度为97.87%,优于其他先进的手语翻译方法。 展开更多

关键词 手语翻译 自适应图卷积 Transformer时序模型 关键帧提取 姿态估计

下载PDF 职称材料

基于SlowFast网络的孤立词手语识别算法研究

17

作者 黄同愿 谭禹 朱金江 《重庆理工大学学报（自然科学）》 CAS 北大核心 2023年第12期267-275,共9页

由于运动模糊、信息冗余以及不同人手语风格多样化等原因,目前的孤立词手语识别在识别精度、背景抗干扰性和识别速度等方面仍存在不足。为此,提出了一种新的手语识别方法——基于SlowFast网络和增强手部注意力的方法(EAH-SlowFast),其使... 由于运动模糊、信息冗余以及不同人手语风格多样化等原因,目前的孤立词手语识别在识别精度、背景抗干扰性和识别速度等方面仍存在不足。为此,提出了一种新的手语识别方法——基于SlowFast网络和增强手部注意力的方法(EAH-SlowFast),其使用YOLOv5和DeepSort检测并追踪手部,提高对手部信息的关注度;在骨干网络中使用Focal损失函数增加模型的分类能力;改进了SlowFast网络结构并引入通道空间注意力机制,从而提高手部信息的权重并抑制背景噪声的干扰。此外,还提出了一种关键帧提取算法,可以在一定精度的损失下大大提高效率。经实验证实,EAH-SlowFast在DEVISIGN-D数据集上的Top-5准确率达到了97.79%,优于其他先进的手语识别算法。 展开更多

关键词 孤立词手语识别 注意力机制 SlowFast 关键帧提取

下载PDF 职称材料

蛇形机器人桥梁缆索攀爬步态控制研究 被引量：16

18

作者 魏武 孙洪超 《中国机械工程》 EI CAS CSCD 北大核心 2012年第10期1230-1236,共7页

使用基于迭代链拟合与关键帧提取的蛇形机器人缆索攀爬步态生成方法,对一种正交关节蛇形机器人桥梁缆索攀爬步态控制进行了研究。该方法可建立蛇体骨干曲线定向位移与底层驱动器输入之间的联系,可将传统的骨干曲线法和控制函数法两种步... 使用基于迭代链拟合与关键帧提取的蛇形机器人缆索攀爬步态生成方法,对一种正交关节蛇形机器人桥梁缆索攀爬步态控制进行了研究。该方法可建立蛇体骨干曲线定向位移与底层驱动器输入之间的联系,可将传统的骨干曲线法和控制函数法两种步态生成方法的优点有效地结合。使用该方法生成步态既可直观地得到骨干曲线的形状及运动趋势,又可得到以关节号和时间为变量的控制函数。该方法可有效提高蛇形机器人桥梁缆索攀爬的安全性、步态灵活性,同时,也便于控制底层驱动器。最后,通过实验验证了所提出方法的有效性。 展开更多

关键词 蛇形机器人 正交关节 迭代链拟合 关键帧提取 螺旋攀爬步态控制

下载PDF 职称材料

基于人体姿态估计的仰卧起坐动作诊断系统

19

作者 杨蕊婷 袁磊 +3 位作者 林勤 欧阳柏强 张博中 刘朋 《通信与信息技术》 2022年第S02期80-82,共3页

针对仰卧起坐教学过程中动作不规范、教师标准不统一等问题,提出了一种基于人体姿态估计的仰卧起坐动作诊断系统,该系统通过运用人体检测算法、多目标跟踪算法ByteTrack、单人关键点检测算法,分析仰卧起坐动作的统计特征,提取仰卧起坐... 针对仰卧起坐教学过程中动作不规范、教师标准不统一等问题,提出了一种基于人体姿态估计的仰卧起坐动作诊断系统,该系统通过运用人体检测算法、多目标跟踪算法ByteTrack、单人关键点检测算法,分析仰卧起坐动作的统计特征,提取仰卧起坐过程的关键姿态反馈给客户端,便于诊断仰卧起坐技术动作。 展开更多

关键词 人体姿态估计 仰卧起坐 关键帧自动抽取

下载PDF 职称材料