-
题名基于层次化深度关联融合网络的社交媒体情感分类
被引量：10
- 1
-
-
作者
蔡国永
吕光瑞
徐智
-
机构
广西可信软件重点实验室(桂林电子科技大学)
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2019年第6期1312-1324,共13页
-
基金
国家自然科学基金项目(61763007,66162014)
广西自然科学基金重点项目(2017JJD160017)
广西可信软件重点实验室项目(201503)~~
-
文摘
现有的多数情感分析研究都是基于单一文本或视觉数据,效果还不够理想,多模态数据由于能够提供更丰富的信息,因此多模态情感分析正受到越来越多的关注.社交媒体上视觉数据常常和与之共现的文本数据存在较强的语义关联,因此混合图文的多模态情感分类为社交媒体情感分析提供了新的视角.为了解决图文之间的精细语义配准问题,提出了一种基于层次化深度关联融合网络的多媒体数据情感分类模型.该模型不仅利用图像的中层语义特征,还利用多模态深度多重判别性相关分析来学习最大相关的图像视觉特征表示和文本语义特征表示,而且使形成的视觉特征表示和语义特征表示均具有线性判别性.在此基础上,提出合并图像视觉特征表示和文本语义特征表示的多模态注意力融合网络,以进一步改进情感分类器.最后,在来自于社交网络的真实数据集上的大量实验结果表明,通过层次化捕获视觉情感特征和文本情感特征之间的内部关联,可以更准确地实现对图文融合社交媒体的情感分类预测.
-
关键词
社交媒体
情感分析
深度关联
判别性相关分析
多模态注意力融合
-
Keywords
social media
sentiment analysis
deep correlation
discriminant correlation analysis
multi-modal attention fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多模态融合的人脸反欺骗算法研究
被引量：3
- 2
-
-
作者
颜增显
孔超
欧卫华
-
机构
广西现代职业技术学院
贵州师范大学
-
出处
《计算机技术与发展》
2022年第4期63-68,85,共7页
-
基金
国家自然科学基金地区基金(61962010)
贵州省优秀青年科技人才培养对象(2019[5670])
-
文摘
人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障。传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题。鉴于此,该文提出一种多模态融合卷积神经网络模型,通过融合不同模态上的人脸特征来实现鲁棒的人脸反欺骗。首先根据通道注意力网络设计了多模态共享分支网络来实现特征提取过程中不同模态间的信息交互,然后在通道注意力融合网络的基础上提出了多模态通道注意力融合网络来融合不同模态的特征,最后利用融合后的多模态特征进行分类。在CASIA-SURF数据集上的大量实验结果表明,与主流的多模态人脸反欺骗方法(multi-scale fusion)相比,该方法在APCER和ACER指标上分别降低了1.1%和0.4%,充分证明该方法可以有效融合不同模态的特征,提高模型的鲁棒性。
-
关键词
人脸反欺骗
多模态融合
多模态共享分支
多模态通道注意力融合
多模态特征
-
Keywords
face anti-spoofing
multi-modal fusion
multi-modal shared branch
multi-modal channel attention fusion
multi-modal features
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
