面向多模态情感分析的双模态交互注意力 被引量：10

1

作者 包广斌 李港乐 王国雄 《计算机科学与探索》 CSCD 北大核心 2022年第4期909-916,共8页

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型... 针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息。为了学习不同模态之间的交互信息,提出了一种双模态交互注意力机制来融合两种模态的信息,并将其作为条件向量来区分各模态信息对于情感分类的重要程度;然后结合自注意力、全连接层组成多模态特征融合模块,挖掘模态内部和模态之间的关联性,获得跨模态联合特征。最后,将得到的上下文特征和跨模态联合特征进行拼接,经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,相比现有模型,该模型在多模态情感分类任务上的表现是有效的和先进的。 展开更多

关键词 多模态 情感分析 双向门控循环单元(BiGRU) 上下文 双模态交互注意力 特征融合

下载PDF 职称材料

基于双层词性感知和多头交互注意机制的方面级情感分析 被引量：5

2

作者 薛芳 过弋 +1 位作者 李智强 王家辉 《计算机应用研究》 CSCD 北大核心 2022年第3期704-710,共7页

在方面级情感分析研究中,现有工作往往忽略不同类型词性贡献程度以及局部特征和全局特征的交互作用会影响分类准确率的问题。为此,提出了一种基于双层词性感知和多头交互注意机制的方面级情感分析模型DPMHA。首先,使用BERT预训练模型获... 在方面级情感分析研究中,现有工作往往忽略不同类型词性贡献程度以及局部特征和全局特征的交互作用会影响分类准确率的问题。为此,提出了一种基于双层词性感知和多头交互注意机制的方面级情感分析模型DPMHA。首先,使用BERT预训练模型获取包含上下文信息的词向量;其次,提出了双层词性感知的局部特征提取层,重点关注方面词周围具有重要词性词的特征,降低噪声词的影响;接着,在局部特征和全局特征之间设计了多头交互注意力机制,充分挖掘局部特征和全局特征之间重要的交互特征;最后,提出了动态特征融合层和softmax层获取情感分析的结果。在三个公开数据集上的实验结果表明,与现有的方面级情感分析模型相比,提出的DPMHA模型在restaurant14、laptop14、restaurant15数据集上MF1值分别提升了2.41%、1.24%、2.39%,准确率分别提升了1.34%、0.78%、0.37%。 展开更多

关键词 BERT模型 双层词性感知 交互特征 动态特征融合

下载PDF 职称材料

融合双阶段特征与Transformer编码的交互式图像分割

3

作者 封筠 张天 +2 位作者 史屹琛 王辉 胡晶晶 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第6期831-843,共13页

为了快速、精确地分割用户感兴趣的前景目标,获得高质量且低成本的标注分割数据,提出一种基于双阶段特征融合与Transformer编码的交互式图像分割算法.首先采用轻量化Transformer骨干网络对输入图像提取多尺度特征编码,更好地利用上下文... 为了快速、精确地分割用户感兴趣的前景目标,获得高质量且低成本的标注分割数据,提出一种基于双阶段特征融合与Transformer编码的交互式图像分割算法.首先采用轻量化Transformer骨干网络对输入图像提取多尺度特征编码,更好地利用上下文信息;然后使用点击交互的方式引入主观先验知识,依次通过初级与加强阶段将交互特征融入Transformer网络;最后结合空洞卷积、注意力机制和多层感知机对骨干网络获取的特征图解码.实验结果表明,所提算法在GrabCut,Berkeley和DAVIS数据集上的mNoC@90%值分别达到2.18,4.04和7.39,优于其他对比算法;且算法的时间与空间复杂度低于f-BRS-B,对交互点击位置及点击类型的扰动变化具有较好的稳定性,说明该算法能够快速、精确与稳定地分割用户感兴趣目标,提升用户交互的使用体验感. 展开更多

关键词 交互式图像分割 深度学习 Transformer编码 交互特征融合 轻量化网络

下载PDF 职称材料

基于Transformer模型的问句语义相似度计算 被引量：3

4

作者 丁邱 迟海洋 +2 位作者 严馨 徐广义 邓忠莹 《计算机工程与设计》 北大核心 2023年第3期887-893,共7页

针对现有方法准确率不高、不能充分捕捉句子深层次语义特征的问题,提出一种基于Transformer编码器网络的问句相似度计算方法。在获取句子语义特征前引入交互注意力机制比较句子间词粒度的相似性,通过注意力矩阵和句子矩阵相互生成彼此... 针对现有方法准确率不高、不能充分捕捉句子深层次语义特征的问题,提出一种基于Transformer编码器网络的问句相似度计算方法。在获取句子语义特征前引入交互注意力机制比较句子间词粒度的相似性,通过注意力矩阵和句子矩阵相互生成彼此注意力加权后的新的句子表示矩阵,将获取的新矩阵同原始矩阵拼接融合,丰富句子特征信息;将拼接后的句子特征矩阵作为Transformer编码器网络的输入,由Transformer编码器分别对其进行深层次语义编码,获得句子的全局语义特征;通过全连接网络和Softmax函数对特征进行权重调整,得到句子相似度。在中文医疗健康问句数据集上模型取得了90.2%的正确率,较对比模型提升了将近4.2%,验证了该方法可以有效提高句子的语义表示能力和语义相似度的准确性。 展开更多

关键词 自然语言处理 Transformer编码器 交互注意力机制 特征融合 语义相似度 语义编码 句子表示

下载PDF 职称材料

基于稀疏编码特征融合的交互行为识别 被引量：2

5

作者 李建军 孙玥 张宝华 《激光与光电子学进展》 CSCD 北大核心 2020年第18期88-96,共9页

交互行为的识别是机器视觉研究领域的热点和难点,针对其识别率低的问题,提出了一种融合深度图像边缘特征、RGB(Red,Green,Blue)图像纹理特征以及光流运动轨迹特征的识别算法。首先,采用Canny算子提取深度图像的边缘特征,采用局部二值模... 交互行为的识别是机器视觉研究领域的热点和难点,针对其识别率低的问题,提出了一种融合深度图像边缘特征、RGB(Red,Green,Blue)图像纹理特征以及光流运动轨迹特征的识别算法。首先,采用Canny算子提取深度图像的边缘特征,采用局部二值模式算子提取RGB图像的纹理特征,采用光流直方图描述图像的动态特征;然后,将提取的边缘特征和纹理特征进行加权融合;最后,利用基于稀疏表示的空间金字塔匹配模型对静态融合特征和光流运动轨迹特征进行编码融合,对交互行为进行识别。基于MSR Action Pairs、SBU Kinect interaction、CAD-60数据集的实验结果表明,本算法的识别效果较好。 展开更多

关键词 图像处理 交互行为识别 特征融合 稀疏编码

原文传递

基于图卷积网络的多交互注意方面级情感分析

6

作者 贾音 武伟宁 +3 位作者 杨长春 顾晓清 严鑫杰 马甜甜 《计算机工程与设计》 北大核心 2023年第12期3691-3699,共9页

为解决当前方面级情感分析中提取语义句法信息不充分导致分类结果不准确的问题,提出一种基于图卷积网络的多交互注意模型。基于注意力机制和句法相对距离分别重构带有权重的语义图邻接矩阵和句法图邻接矩阵,以这种方式存储更多信息,结... 为解决当前方面级情感分析中提取语义句法信息不充分导致分类结果不准确的问题,提出一种基于图卷积网络的多交互注意模型。基于注意力机制和句法相对距离分别重构带有权重的语义图邻接矩阵和句法图邻接矩阵,以这种方式存储更多信息,结合图卷积网络充分挖掘上下文中更深层次的语义和句法信息;通过掩码机制和交互注意完成方面词与上下文的语义交互和句法交互,捕获相关关联并进行特征融合。在SemEval 2014和Twitter数据集上进行实验,实验结果表明,该模型与基于注意力的模型和基于图卷积网络的模型相比,有更好的分类效果。 展开更多

关键词 方面级情感分析 图卷积网络 交互注意 句法相对距离 特征融合 语义信息 句法信息

下载PDF 职称材料

交互式双分支特征融合的草莓病害程度快速诊断方法 被引量：1

7

作者 胡晓波 许桃胜 +1 位作者 黄伟 王儒敬 《农业机械学报》 EI CAS CSCD 北大核心 2023年第11期225-235,共11页

针对现有草莓病害程度诊断方法存在识别精度低、参数量大、推理时间长等问题,提出了一种基于交互式双分支特征融合的草莓病害程度快速诊断方法。该方法首先以短程密集连接模块为基础,构建一种轻量化的交互式双分支特征融合网络(Interact... 针对现有草莓病害程度诊断方法存在识别精度低、参数量大、推理时间长等问题,提出了一种基于交互式双分支特征融合的草莓病害程度快速诊断方法。该方法首先以短程密集连接模块为基础,构建一种轻量化的交互式双分支特征融合网络(Interactive bilateral feature fusion network,IBFFNet),用于提取图像的语义特征和细节特征。然后,通过注意力简化的金字塔池化模块获取上下文分支中的多尺度语义特征,利用边缘增强模块丰富空间分支中的边缘细节特征。最后,融合多尺度语义特征和空间细节特征,实现病斑和叶片区域的精确分割。在草莓叶部病害程度数据集上的实验结果显示,IBFFNet2_Seg的平均交并比达到77.8%,在单张NVIDIA GTX1050显卡上处理速度可达40.6 f/s,满足实际应用中对算法实时性和分割精度的要求。此外,在测试集上IBFFNet2_Seg预测病害程度与真实程度的决定系数R2为0.98,说明该模型可以准确预测草莓病害严重程度。本研究可为草莓病害精准防治提供可靠的技术支撑。 展开更多

关键词 草莓病害 语义分割 病害程度快速诊断 交互式双分支特征融合 边缘增强

下载PDF 职称材料

基于局部-非局部交互卷积的3D点云分类 被引量：1

8

作者 芦新宇 杨冰 +1 位作者 叶海良 曹飞龙 《模式识别与人工智能》 EI CSCD 北大核心 2022年第2期141-149,共9页

现阶段点云分类研究已被广泛应用于机器人操作、自主驾驶和虚拟现实等多个领域,提取既丰富又具有高判别能力的特征是3D点云分类的关键.为此,文中设计基于局部-非局部交互卷积的3D点云分类算法,改善点云的特征提取.首先,构造局部-非局部... 现阶段点云分类研究已被广泛应用于机器人操作、自主驾驶和虚拟现实等多个领域,提取既丰富又具有高判别能力的特征是3D点云分类的关键.为此,文中设计基于局部-非局部交互卷积的3D点云分类算法,改善点云的特征提取.首先,构造局部-非局部交互卷积模块,在获取局部相似特征和非局部相似特征的基础上,采用交互增强,缓解单个邻域在表示封闭区域时存在的冗余问题,增强网络的层次性和稳定性,同时也缓解网络的退化问题.然后,以该模块为基本单元构建卷积神经网络.最后,采用自适应特征融合,充分利用不同层次的特征,实现3D点云的分类.在ModelNet40、ScanObjectNN基准数据集上的实验表明,文中算法性能较优. 展开更多

关键词 深度学习 点云分类 局部-非局部交互卷积 自适应特征融合

下载PDF 职称材料

基于多层次空-谱融合网络的高光谱图像分类

9

作者 欧阳宁 李祖锋 林乐平 《吉林大学学报（工学版）》 EI CAS CSCD 北大核心 2022年第10期2438-2446,共9页

为了在高光谱图像分类中更好提取和表达光谱与空间的精细特征以及特征间的交互信息,提出一种基于多层次空-谱融合网络的高光谱图像分类方法。首先,利用多层次特征提取模块,分别提取高光谱图像的多层次空间和光谱特征;其次,设计空-谱特... 为了在高光谱图像分类中更好提取和表达光谱与空间的精细特征以及特征间的交互信息,提出一种基于多层次空-谱融合网络的高光谱图像分类方法。首先,利用多层次特征提取模块,分别提取高光谱图像的多层次空间和光谱特征;其次,设计空-谱特征交互融合模块将获得的多层次空间与光谱特征进行特征融合,以产生空-谱融合特征。本文方法可以结合网络中不同层次的空间与光谱特征,有效地捕获高光谱图像精细特征;同时,通过联合学习融合空间与光谱特征,捕获光谱与空间特征之间交互作用。实验结果表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的分类精度,表明该网络能有效地提取精细特征和增强空-谱融合特征的表达能力。 展开更多

关键词 高光谱图像分类 多层次特征提取模块 空-谱特征交互融合模块 特征融合

原文传递

基于低秩稀疏优化的交互行为识别

10

作者 马欣 李建军 《内蒙古科技大学学报》 CAS 2021年第4期375-381,共7页

针对复杂的交互行为在识别过程中特征维数高、信息冗余大导致的识别率较低的问题,文章提出了基于深度图像和RGB图像特征的低秩稀疏融合算法.采用基于稀疏表示的空间金字塔模型对静态特征和动态特征进行编码融合.最后采用低秩稀疏优化方... 针对复杂的交互行为在识别过程中特征维数高、信息冗余大导致的识别率较低的问题,文章提出了基于深度图像和RGB图像特征的低秩稀疏融合算法.采用基于稀疏表示的空间金字塔模型对静态特征和动态特征进行编码融合.最后采用低秩稀疏优化方法进行行为识别,该方法在公共数据集CAD-60和MSR Action Pairs上进行实验验证,取得了理想的效果. 展开更多

关键词 交互行为识别 特征融合 稀疏 低秩

下载PDF 职称材料

化合物药物-靶标蛋白互作关联预测算法进展分析 被引量：1

11

作者 唐春艳 钟诚 +2 位作者 李娜 钟铭 张行健 《基因组学与应用生物学》 CAS CSCD 北大核心 2024年第2期181-194,共14页

药物的使用极大地提高了人类的生存质量。药物的有效性是药物发现研究中的关键环节。药物的有效性通过识别药物与其作用的靶标蛋白来判断。然而,通过高通量筛选的实验方法分析确定化合物药物-靶标蛋白互作关联是一个十分昂贵、耗时且富... 药物的使用极大地提高了人类的生存质量。药物的有效性是药物发现研究中的关键环节。药物的有效性通过识别药物与其作用的靶标蛋白来判断。然而,通过高通量筛选的实验方法分析确定化合物药物-靶标蛋白互作关联是一个十分昂贵、耗时且富有挑战性的任务。基于计算方法的化合物药物-靶标蛋白互作关联预测研究具有效率高、成本低的特点,越来越受到人们的重视。相比实验验证方法,化合物药物-靶标蛋白互作关联的计算方法可为药物发现研究后续的生物药学实验提供更为准确的潜在化合物药物-靶标蛋白候选对,达到减少生物实验的时间和成本的目的。本文回顾了近20年来基于计算方法的化合物药物-靶标蛋白互作关联预测算法所涉及的生物医学特征数据、预测方法和技术,并分析研究过程中所面临的生物医学特征数据高维稀疏,以及多源生物医学数据融合程度不高等问题,为进一步研究提供有价值的参考。 展开更多

关键词 药物发现 化合物药物-靶标蛋白互作关联 生物医学特征数据 高维稀疏 数据融合

原文传递

基于多序列特征提取的蛋白质相互作用预测 被引量：4

12

作者 杜明宇 张晓龙 《计算机工程与设计》 北大核心 2018年第1期86-89,254,共5页

考虑到现有的基于序列的蛋白质相互作用预测方法均采用单一的特征提取方法,具有一定的局限性,提出一种方法。用元学习策略作为分类器融合策略,并集成多种蛋白质序列特征提取方法。在10 702对酿酒酵母蛋白质对数据集上,得到97.28%的预测... 考虑到现有的基于序列的蛋白质相互作用预测方法均采用单一的特征提取方法,具有一定的局限性,提出一种方法。用元学习策略作为分类器融合策略,并集成多种蛋白质序列特征提取方法。在10 702对酿酒酵母蛋白质对数据集上,得到97.28%的预测精度,优于目前现有方法的平均水平,在独立测试集上同样具有优秀的表现,实验结果表明,该方法有效提高了蛋白质相互作用预测的准确率。 展开更多

关键词 蛋白质-蛋白质相互作用 蛋白质序列 特征提取 支持向量机 分类器融合

下载PDF 职称材料