-
题名基于多列深度3D卷积神经网络的手势识别
被引量：21
- 1
-
-
作者
易生
梁华刚
茹锋
-
机构
长安大学电子与控制工程学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2017年第8期243-248,共6页
-
基金
国家自然科学基金青年基金(61203374)
陕西省自然科学基金国际合作项目(2014KW01-05)
-
文摘
传统2D卷积神经网络对于视频连续帧图像的特征提取容易丢失目标时间轴上的运动信息,导致识别准确度较低。为此,提出一种基于多列深度3D卷积神经网络(3D CNN)的手势识别方法。采用3D卷积核对连续帧图像进行卷积操作,提取目标的时间和空间特征捕捉运动信息。为避免因单组3D CNN特征提取不充分而导致的误分类,训练多组具有较强分类能力的3D CNN结构组成多列深度3D CNN,该结构通过对多组3D CNN的输出结果进行权衡,将权重最大的类别判定为最终的输出结果。实验结果表明,将多列深度3D CNN应用于CHGDs数据集上进行手势识别,识别率达到95.09%,与单组3D CNN及传统2D CNN相比分别提高近7%,20%,对连续图像目标识别具有较好的识别能力。
-
关键词
视频图像序列处理
手势识别
深度学习
特征提取
卷积神经网络
运动目标识别
-
Keywords
video image sequence processing
hand gesture recognition
deep learning
feature extraction
convolutionalneural network（cnn）
moving object recognition
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名一种结合全局和局部特征的图像描述生成模型
被引量：8
- 2
-
-
作者
靳华中
刘潇龙
胡梓珂
-
机构
湖北工业大学计算机学院
-
出处
《应用科学学报》
CAS
CSCD
北大核心
2019年第4期501-509,共9页
-
基金
国家重点研发计划项目基金（No.2016YFC0702000）
湖北省教育厅基金（No.省2014277）资助
-
文摘
针对局部特征的图像描述模型存在的不足之处,提出了一种结合局部和全局特征的带有注意力机制的图像描述生成模型.在编码器-解码器结构框架下,在编码器端利用InceptionV3和VGG16网络模型分别提取图像的局部特征和全局特征,将两种不同尺度的图像特征融合形成编码结果.在解码器端,利用长短期记忆网络将提取的图像特征翻译为自然语言,借助微软COCO数据集进行模型训练和测试.实验结果表明:与基于局部特征的图像描述生成模型相比,该方法能够从图像中提取更加丰富完整的信息,生成表达图像内容更加准确的句子.
-
关键词
图像描述生成
注意力机制
图像特征
卷积神经网络
长短期记忆
-
Keywords
image caption generation
attention mechanism
image feature
convolutionalneural network(cnn)
long short-term memory(LSTM)
-
分类号
TN391.4
[电子电信—物理电子学]
-
-
题名面向图像内补与外推问题的迭代预测统一框架
- 3
-
-
作者
郭冬升
顾肇瑞
郑冰
董军宇
郑海永
-
机构
中国海洋大学信息科学与工程学部
山东浪潮科学研究院有限公司
-
出处
《中国图象图形学报》
CSCD
北大核心
2024年第2期491-505,共15页
-
基金
国家自然科学基金项目(62171421)
山东省泰山学者青年专家计划(tsqn202306096)。
-
文摘
目的 图像内补与外推可看做根据已知区域绘制未知区域的问题,是计算机视觉领域研究热点。近年来,深度神经网络成为解决内补与外推问题的主流方法。然而,当前解决方法多分别对待内补与外推问题,导致二者难以统一处理;且模型多采用卷积神经网络(convolutional neural network,CNN)构建,受到视野局部性限制,较难绘制远距离内容。针对这两个问题,本文按照分而治之思想联合CNN与Transformer构建深度神经网络,提出图像内补与外推统一处理框架及模型。方法 将内补与外推问题的解决过程分解为“表征、预测、合成”3个部分,表征与合成采用CNN完成,充分利用其局部相关性进行图像到特征映射和特征到图像重建;核心预测由Transformer实现,充分发挥其强大的全局上下文关系建模能力,并提出掩膜自增策略迭代预测特征,降低Transformer同时预测大范围未知区域特征的难度;最后引入对抗学习提升绘制图像逼真度。结果 实验给出在多种数据集下内补与外推对比评测,结果显示本文方法各项性能指标均超越对比方法。通过消融实验发现,模型相比采用非分解方式具有更佳表现,说明分而治之思路功效显著。此外,对掩膜自增策略进行详细的实验分析,表明迭代预测方法可有效提升绘制能力。最后,探究了Transformer关键结构参数对模型性能的影响。结论 本文提出一种迭代预测统一框架解决图像内补与外推问题,相较对比方法性能更佳,并且各部分设计对性能提升均有贡献,显示了迭代预测统一框架及方法在图像内补与外推问题上的应用价值与潜力。
-
关键词
图像内补
图像外推
分而治之
迭代预测
TRANSFORMER
卷积神经网络(cnn)
-
Keywords
image inpainting
image outpainting
divide-and-conquer
iterative prediction
Transformer
convolutionalneural network(cnn)
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
