-
题名基于双注意模型的图像描述生成方法研究
被引量：6
- 1
-
-
作者
卓亚琦
魏家辉
李志欣
-
机构
桂林理工大学理学院
广西师范大学广西多源信息挖掘与安全重点实验室
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2022年第5期1123-1130,共8页
-
基金
国家自然科学基金(No.61966004,No.61866004)
广西自然科学基金(No.2019GXNSFDA245018)
广西研究生教育创新计划(No.XY-CBZ2021002)。
-
文摘
现有图像描述生成方法的注意模型通常采用单词级注意,从图像中提取局部特征作为生成当前单词的视觉信息输入,缺乏准确的图像全局信息指导.针对这个问题,提出基于语句级注意的图像描述生成方法,通过自注意机制从图像中提取语句级的注意信息,来表示生成语句所需的图像全局信息.在此基础上,结合语句级注意和单词级注意进一步提出了双注意模型,以此来生成更准确的图像描述.通过在模型的中间阶段实施监督和优化,以解决信息间的干扰问题.此外,将强化学习应用于两阶段的训练来优化模型的评估度量.通过在MSCOCO和Flickr30K两个基准数据集上的实验评估,结果表明本文提出的方法能够生成更加准确和丰富的描述语句,并且在各项评价指标上优于现有的多种基于注意机制的方法.
-
关键词
图像描述生成
编码器-解码器架构
单词级注意
语句级注意
双注意模型
强化学习
-
Keywords
image captioning
encoder-decoder architecture
word-level attention
sentence-level attention
double attention model
reinforcement learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于双注意力模型和迁移学习的Apex帧微表情识别
被引量：4
- 2
-
-
作者
徐玮
郑豪
杨种学
-
机构
广西师范大学计算机科学与工程学院/软件学院
南京晓庄学院信息工程学院
-
出处
《智能系统学报》
CSCD
北大核心
2021年第6期1015-1020,共6页
-
基金
国家自然科学基金项目(61976118)
江苏省“六大人才高峰”高层次人才项目(RJFW-038)。
-
文摘
微表情具有持续时间短、强度低的特点,其识别准确率普遍不高。针对该问题提出了一种改进的深度学习识别方法,该方法取微表情视频序列中的Apex帧,采用集成空间、通道双注意力模块的ResNet18网络,引入Focal Loss函数解决微表情数据样本不平衡的问题,并将宏表情识别领域的先验知识迁移到微表情识别领域,以提高识别效果。在CASME II微表情数据集上使用"留一交叉验证法"进行实验,结果表明本文方法相比一些现有的方法识别准确率及F_(1)值更高。
-
关键词
微表情识别
深度学习
Apex帧
双注意力模型
ResNet18网络
Focal
Loss函数
宏表情
迁移学习
-
Keywords
microexpression recognition
deep learning
Apex frame
dual attention model
ResNet18 network
Focal Loss function
macroexpression
transfer learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于双注意力机制的遥感图像目标检测
被引量：3
- 3
-
-
作者
周幸
陈立福
-
机构
长沙理工大学电气与信息工程学院
-
出处
《计算机与现代化》
2020年第8期1-7,共7页
-
基金
国家自然科学基金资助项目(61701047)。
-
文摘
针对遥感图像在复杂背景下小目标检测精度较低的问题,提出一种基于双注意力机制模型的SSD检测算法。该算法在前端特征提取网络中引入双注意力机制模型,强化低层特征图中小目标的有效特征信息并抑制冗余的语义信息,实现自适应特征学习;并在空间注意力模型中引入空洞卷积,保证卷积核感受野的同时减少了网络参数。引入Focal loss损失函数作为改进算法的分类损失函数,改善网络在训练过程中样本失衡的问题,增加正样本与难样本在训练时的权重比例,提升算法的检测性能。对遥感图像数据集NWPU VHR-10进行检测的结果表明,本文的改进算法在保证检测速度的同时提高了检测精度。与传统SSD算法相比,改进SSD算法的mAP提高了2.25个百分点,达到79.65%。
-
关键词
深度学习
目标检测
特征提取
双注意力机制模型
空洞卷积
Focal
loss损失函数
-
Keywords
deep learning
target detection
feature extraction
double attention mechanism model
dilated convolution
Focal loss function
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于双粒度注意力模型的文档级关系抽取
- 4
-
-
作者
蔡文晖
李治江
-
机构
武汉大学印刷与包装系
武汉大学信息管理学院
-
出处
《数字印刷》
CAS
北大核心
2022年第2期45-51,共7页
-
文摘
文档中的各个实体之间往往存在着复杂的交互关系,如何有效地汇总文档中的层级信息实现关系抽取是一个具有挑战性的研究问题。现有的文档级关系抽取方法普遍采用图模型结构或预训练模型编码文档,无法捕获丰富的多粒度信息。针对这一问题,本研究提出了一个双粒度注意力模型(Dual Attention Network,DAN),通过编码文档词级、句级特征与实体对特征之间的交互,实现文档各层级信息的融合。验证结果表明,该模型在大规模文档级数据集DocRED上获得了较为优异的效果,验证了本研究方法的有效性。
-
关键词
关系抽取
双粒度注意力模型
图神经网络
预训练模型
-
Keywords
Relation extraction
Dual Attention Network
Graph neural network
Pre-training model
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
