期刊文献+
共找到108篇文章
< 1 2 6 >
每页显示 20 50 100
基于Zynq平台的低功耗人脸检测加速系统
1
作者 赵民 徐胜 +1 位作者 韩路宇 林志贤 《半导体光电》 CAS 北大核心 2024年第3期469-476,共8页
基于CPU及GPU的卷积神经网络平台存在体积大、能耗高等问题,提出了一种基于Zynq平台的卷积神经网络人脸检测加速系统。该系统采用YOLOv3-Tiny算法,并利用Wider Face人脸数据集进行训练。为提高网络效率,采用层融合技术减小网络深度,加... 基于CPU及GPU的卷积神经网络平台存在体积大、能耗高等问题,提出了一种基于Zynq平台的卷积神经网络人脸检测加速系统。该系统采用YOLOv3-Tiny算法,并利用Wider Face人脸数据集进行训练。为提高网络效率,采用层融合技术减小网络深度,加快检测速度;同时,采用8位整数量化策略,以降低内存访问量,减少资源消耗。通过利用ZynqXC7Z035芯片上FPGA端并行计算能力,设计出可重复利用的多通道卷积计算模块,实现DSP的重复递用。实验结果显示,所设计的加速系统实现了9.5FPS的实时推理速度,检测速度是intel i7-8700CPU的7.9倍,系统功耗仅为2.65W,满足低功耗的性能需求。 展开更多
关键词 卷积神经网络 融合 量化 多通道卷积 现场可编程门阵列
下载PDF
基于脉动阵列的层融合注意力模型加速器结构
2
作者 刘晓航 姜晶菲 许金伟 《计算机工程与科学》 CSCD 北大核心 2023年第5期802-809,共8页
注意力机制最近在深度神经网络中表现出优越的性能,但其计算包含复杂的数据流,内存开销和计算量大,需要定制加速器来优化推理计算。提出一种针对注意力机制计算的加速器结构。采用基于硬件控制的灵活分块方法,将模型中的巨大矩阵分成硬... 注意力机制最近在深度神经网络中表现出优越的性能,但其计算包含复杂的数据流,内存开销和计算量大,需要定制加速器来优化推理计算。提出一种针对注意力机制计算的加速器结构。采用基于硬件控制的灵活分块方法,将模型中的巨大矩阵分成硬件亲和的计算块,使块矩阵的计算匹配加速器脉动阵列;提出基于双步softmax函数分解计算的层融合计算方法,有效减少了注意力模型计算对内存的访问。采用硬件描述语言HDL设计实现了细粒度计算调度的层融合注意力模型加速器结构。基于XILINX FPGA器件和HLS工具进行了性能评估。相同设置下,与CPU相比延迟加速了4.9倍,与GPU相比能效提升了1.24倍。 展开更多
关键词 脉动阵列 注意力机制 融合 加速器结构 矩阵分块 柔性最大值传输函数
下载PDF
基于数据融合的遥感图象处理技术 被引量:45
3
作者 瞿继双 王超 王正志 《中国图象图形学报(A辑)》 CSCD 北大核心 2002年第10期985-993,共9页
简要地回顾了数据融合技术产生、发展的必然性 ,以及学者们提出的几种相关定义 ;尽可能详细地分析了数据融合的框架结构 ,包括像素层、特征层和决策层三层数据融合 ,并重点分析了各个数据融合层中的融合方法 ,以及这些方法在遥感图象处... 简要地回顾了数据融合技术产生、发展的必然性 ,以及学者们提出的几种相关定义 ;尽可能详细地分析了数据融合的框架结构 ,包括像素层、特征层和决策层三层数据融合 ,并重点分析了各个数据融合层中的融合方法 ,以及这些方法在遥感图象处理中的应用 .由于数据融合与遥感图象分类、目标检测、变化检测、目标识别的密切相关性 ,还对数据融合与这些应用的结合作了一定的分析 .最后给出了结论和展望 . 展开更多
关键词 遥感图象处理 数据融合 融合引擎 像素融合 特征融合 决策融合
下载PDF
基于类决策树分类的特征层融合识别算法 被引量:36
4
作者 尚朝轩 王品 +1 位作者 韩壮志 彭刚 《控制与决策》 EI CSCD 北大核心 2016年第6期1009-1014,共6页
针对雷达组网量测数据不确定性大、信息不完备等特点,基于决策树分类算法的思想,创建类决策树的概念,提出一种基于类决策树分类的特征层融合识别算法.所给出的算法无需训练样本,采用边构造边分类的方式,选取信息增益最大的属性作为分类... 针对雷达组网量测数据不确定性大、信息不完备等特点,基于决策树分类算法的思想,创建类决策树的概念,提出一种基于类决策树分类的特征层融合识别算法.所给出的算法无需训练样本,采用边构造边分类的方式,选取信息增益最大的属性作为分类属性对量测数据进行分类,实现了对目标的识别.该算法能够处理含有空缺值的量测数据,充分利用量测数据的特征信息.仿真实验结果表明,类决策树分类算法是一种简单有效的特征层融合识别算法. 展开更多
关键词 决策树 特征融合 目标识别 分类 类决策树
原文传递
面向电力物联网信息感知的低压电力线与微功率无线通信融合方法 被引量:26
5
作者 史建超 谢志远 《电力自动化设备》 EI CSCD 北大核心 2020年第10期147-157,共11页
为提高电力物联网信息感知层面的覆盖范围和可靠性,提出一种构建低压电力线与微功率无线通信跨层融合网络(CPW)的方法。首先建立CPW的统一介质访问控制(MAC)层模型,为实现CPW网络层的融合提供基础支持;然后提出一种结合布朗运动与局部... 为提高电力物联网信息感知层面的覆盖范围和可靠性,提出一种构建低压电力线与微功率无线通信跨层融合网络(CPW)的方法。首先建立CPW的统一介质访问控制(MAC)层模型,为实现CPW网络层的融合提供基础支持;然后提出一种结合布朗运动与局部收敛次数控制的改进蚁群算法,完成了CPW的组网过程;对CPW的子业务流进行分配,并提出业务分配中的误码率需求因子,实现了低压电力线与微功率无线通信网络的跨层融合。仿真结果表明,该跨层融合网络的通信链路服务质量优于电力线与无线双模或级联通信网络,用户可以根据不同业务设置相应的误码率需求因子,以兼顾通信链路质量与网络负载均衡,保障CPW的高效性和可靠性。 展开更多
关键词 电力物联网 低压电力线通信 微功率无线通信 融合 蚁群算法
下载PDF
电力电子电路多源特征层融合故障诊断方法 被引量:23
6
作者 罗慧 王友仁 +1 位作者 崔江 赵鹏 《电机与控制学报》 EI CSCD 北大核心 2010年第4期92-96,共5页
设计了一种多源信息特征层融合的故障诊断方法,应用在电力电子电路的诊断过程中。选择待测电路的节点电压和重要支路电流作为融合对象,利用小波变换和主成分分析对数据进行预处理和特征提取,采用间隔交叉的方式将电压特征矢量和电流特... 设计了一种多源信息特征层融合的故障诊断方法,应用在电力电子电路的诊断过程中。选择待测电路的节点电压和重要支路电流作为融合对象,利用小波变换和主成分分析对数据进行预处理和特征提取,采用间隔交叉的方式将电压特征矢量和电流特征矢量联合形成特征矢量,通过神经网络对联合特征矢量进行推理分类,得到故障诊断结果。以Buck-Boost电路为诊断实例,对比分析了选择不同特征融合对象对故障诊断结果的影响,实验结果证明该方法可以明显提高电路诊断率。 展开更多
关键词 电力电子电路 故障诊断 多源信息 特征融合 神经网络
下载PDF
基于残差卷积神经网络的开关柜局部放电模式识别 被引量:18
7
作者 黄雪莜 熊俊 +4 位作者 张宇 刘辉 陈鹭 孟祥麟 江秀臣 《中国电力》 CSCD 北大核心 2021年第2期44-51,共8页
传统的开关柜局部放电模式识别方法缺乏一定的泛化性能且识别准确率低,难以在实际工程中应用。提出了一种基于残差卷积神经网络的开关柜局部放电模式识别方法,通过在网络中加入残差模块以解决随着网络层数加深导致准确度饱和后出现退化... 传统的开关柜局部放电模式识别方法缺乏一定的泛化性能且识别准确率低,难以在实际工程中应用。提出了一种基于残差卷积神经网络的开关柜局部放电模式识别方法,通过在网络中加入残差模块以解决随着网络层数加深导致准确度饱和后出现退化的问题,并综合利用开关柜局部放电数据的浅层与深层特征融合学习,实现模式识别。通过开关柜不同绝缘缺陷类别的局部放电模拟实验与配电站现场检测,构建了开关柜局部放电数据样本库,并进行了实验分析。实验结果表明:所提方法的识别正确率达96.06%,相比传统识别方法至少提高了20.22%,且随着训练集样本数量的增加,识别率有更大提升。综合使用特征层融合模块和残差模块,显著提升了模型的泛化性能,更适用于实际工程。 展开更多
关键词 卷积神经网络 残差模块 特征融合 局部放电 模式识别
下载PDF
遥感数据融合技术文献综述 被引量:15
8
作者 闫晗晗 邢波涛 +5 位作者 任璐 张琳 姚麟倩 段子阳 李晨曦 李锵 《电子测量技术》 2018年第9期26-36,共11页
介绍了遥感数据融合技术的产生、发展历程和现状;遥感数据融合的目的是获取关于目标的更全面、综合的信息解释,详细阐述了遥感数据融合技术主要分为像素层融合、特征层融合和决策层融合3个层次的融合,着重介绍了各个数据融合层次中的具... 介绍了遥感数据融合技术的产生、发展历程和现状;遥感数据融合的目的是获取关于目标的更全面、综合的信息解释,详细阐述了遥感数据融合技术主要分为像素层融合、特征层融合和决策层融合3个层次的融合,着重介绍了各个数据融合层次中的具体融合方法。结合3个层次的融合处理技术进行性能比较、优缺点分析,对遥感数据融合在资源探测、农业管理、环境监测、军事和土地资源管理等领域的应用进行阐述;最后提出遥感数据融合技术面临的机遇及挑战。 展开更多
关键词 遥感图像 数据融合 像素融合 特征融合 决策融合
下载PDF
模糊神经网络在数据融合技术中的应用 被引量:8
9
作者 罗雪山 王震雷 《模糊系统与数学》 CSCD 1998年第4期11-19,共9页
本文主要阐述了模糊神经网络技术,尤其是模糊联结聚合神经网络技术在数据融合技术中的理论与应用。
关键词 数据融合 模糊神经网络 数据融合 信息处理
下载PDF
基于语音信号与心电信号的多模态情感识别 被引量:14
10
作者 黄程韦 金赟 +2 位作者 王青云 赵力 邹采荣 《东南大学学报(自然科学版)》 EI CAS CSCD 北大核心 2010年第5期895-900,共6页
通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作... 通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统. 展开更多
关键词 情感识别 多模态 判决融合 特征融合
下载PDF
面向目标识别的多特征图像融合技术综述 被引量:11
11
作者 王大伟 陈定荣 何亦征 《航空电子技术》 2011年第2期6-12,共7页
目标识别是计算机视觉领域重要的研究课题。图像融合由于能对信息进行多级别、多层次以及多方面的处理与综合,因此可以获得更为精确和更为可靠的信息。近年来,基于多特征融合的目标识别方法由于无需精密的图像配准,计算简便的优点得到... 目标识别是计算机视觉领域重要的研究课题。图像融合由于能对信息进行多级别、多层次以及多方面的处理与综合,因此可以获得更为精确和更为可靠的信息。近年来,基于多特征融合的目标识别方法由于无需精密的图像配准,计算简便的优点得到研究者的重视。本文首先简要介绍了特征融合的基本原理和基本框架;然后梳理了特征融合的几类重要方法;最后,经过对前人工作的总结和分析,结合我们的工作,指出了现有算法的不足之处,并对今后研究中的发展方向和挑战提出了预测性的看法和建议。 展开更多
关键词 目标识别 多传感器图像融合 特征融合
下载PDF
基于改进YOLOv4的输送带损伤检测方法 被引量:11
12
作者 周宇杰 徐善永 +1 位作者 黄友锐 唐超礼 《工矿自动化》 北大核心 2021年第11期61-65,共5页
针对现有输送带损伤检测方法检测精度低、检测速度慢且缺少对面积较小损伤检测的问题,提出了一种基于改进YOLOv4的输送带损伤检测方法。该方法以YOLOv4为基础,对PANet路径融合网络部分进行改进,增加与浅层特征层的融合,将原3个尺度的特... 针对现有输送带损伤检测方法检测精度低、检测速度慢且缺少对面积较小损伤检测的问题,提出了一种基于改进YOLOv4的输送带损伤检测方法。该方法以YOLOv4为基础,对PANet路径融合网络部分进行改进,增加与浅层特征层的融合,将原3个尺度的特征层融合增加到4个尺度,提高模型对输送带损伤的特征提取能力,提高检测精度;将PANet部分每个特征层融合后的卷积次数由5次减少到3次,减少计算量,提高检测速度;对输送带损伤图像进行标注,并输入改进的YOLOv4模型进行训练和测试。实验结果表明,基于改进YOLOv4的输送带损伤检测方法损失收敛速度快,模型训练效果好;基于改进YOLOv4的输送带损伤检测方法对输送带撕裂、表面磨损和表面缺陷检测的平均精度均值达96.86%,检测速度达20.66帧/s,与YOLOv4,YOLOv3和Faster-RCNN相比,平均精度均值分别提升了1.4%,6.35%,2.16%,检测速度分别提升了2.39,2.34,15.25帧/s;与YOLOv4相比,基于改进YOLOv4的输送带损伤检测方法检测精度更高,对面积较小损伤的检测效果更好。 展开更多
关键词 带式输送机 输送带损伤检测 YOLOv4 深度学习 PANet 特征融合
下载PDF
现代信息融合技术应用于中医舌象分析的初步研究 被引量:6
13
作者 张新峰 沈兰荪 《测控技术》 CSCD 2005年第5期30-33,43,共5页
中医诊断是一个典型的信息融合过程,目前尚未见到将现代信息融合技术应用于其中的公开报道。笔者论述了现代信息融合技术应用于中医舌象分析的可行性,同时给出特征层与决策层融合应用的初步方案和部分实验结果。研究表明信息融合技术可... 中医诊断是一个典型的信息融合过程,目前尚未见到将现代信息融合技术应用于其中的公开报道。笔者论述了现代信息融合技术应用于中医舌象分析的可行性,同时给出特征层与决策层融合应用的初步方案和部分实验结果。研究表明信息融合技术可以提高舌象分析的准确率,而且符合中医现代化研究的思路,是中医舌象自动分析研究的一项关键技术。 展开更多
关键词 信息融合 舌象识别 特征融合 决策融合
下载PDF
基于矩阵束算法的多雷达信号融合超分辨成像 被引量:9
14
作者 徐少坤 李亚楠 +1 位作者 贾宇平 付耀文 《信号处理》 CSCD 北大核心 2008年第5期859-862,共4页
利用多雷达回波信号对目标进行融合成像可以有效提高分辨率。本文实现了一种多雷达融合联合超分辨成像算法,该方法基于单雷达观测数据指数和模型,建立了联合的多雷达观测数据模型,并将雷达二维成像的矩阵束算法引入到多雷达观测融合成像... 利用多雷达回波信号对目标进行融合成像可以有效提高分辨率。本文实现了一种多雷达融合联合超分辨成像算法,该方法基于单雷达观测数据指数和模型,建立了联合的多雷达观测数据模型,并将雷达二维成像的矩阵束算法引入到多雷达观测融合成像中,利用多雷达观测数据估计散射中心的参数,有效提高了分辨率。仿真实验表明,该算法有效提高了雷达成像的分辨性能,有利于后续的目标检测与识别。 展开更多
关键词 信号融合 超分辨成像 矩阵束
下载PDF
卫星多源遥感图像融合研究 被引量:3
15
作者 何贵青 郝重阳 常根杰 《遥测遥控》 2005年第4期1-6,共6页
卫星多源遥感图像融合技术可以综合利用多源信息,从而获得对同一目标更全面、更清晰、更准确的认识。文中简介卫星多源遥感图像融合系统所包含的三个过程,即预处理、图像融合、综合评价及应用;详细分析像素层、特征层和决策层三个不同... 卫星多源遥感图像融合技术可以综合利用多源信息,从而获得对同一目标更全面、更清晰、更准确的认识。文中简介卫星多源遥感图像融合系统所包含的三个过程,即预处理、图像融合、综合评价及应用;详细分析像素层、特征层和决策层三个不同融合层次的融合原理和方法;归纳融合效果的主客观评价标准和熵、平均梯度等六种评价指标;最后从空间配准模型、建立统一的数学融合模型、关联的二义性、数据融合方法与融合系统实施存在的问题、有效的评价准则等方面讨论了卫星多源遥感图像融合目前存在的问题,并对今后的发展趋势作出展望。 展开更多
关键词 卫星遥感 图像融合 像素融合 特征融合 决策融合
下载PDF
基于多头注意力机制的模型层融合维度情感识别方法 被引量:9
16
作者 董永峰 苏海洋 +1 位作者 刘斌 陶建华 《信号处理》 CSCD 北大核心 2021年第5期885-892,共8页
近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步... 近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。 展开更多
关键词 维度情感识别 多模态情感融合 模型融合 多头注意力机制
下载PDF
基于拉曼和近红外光谱特征层融合的食用油MUFA和PUFA含量检测 被引量:9
17
作者 吴双 王杰 +3 位作者 俞雅茹 涂斌 郑晓 何东平 《中国粮油学报》 EI CAS CSCD 北大核心 2017年第11期158-164,共7页
针对食用油中单不饱和脂肪酸(MUFA)和多不饱和脂肪酸(PUFA)含量的快速检测问题,研究探索应用拉曼(Raman)和近红外(NIR)光谱以及特征层数据的融合,结合化学计量学分析,建立食用油MUFA和PUFA含量预测模型。重点研究各种预处理算法对模型... 针对食用油中单不饱和脂肪酸(MUFA)和多不饱和脂肪酸(PUFA)含量的快速检测问题,研究探索应用拉曼(Raman)和近红外(NIR)光谱以及特征层数据的融合,结合化学计量学分析,建立食用油MUFA和PUFA含量预测模型。重点研究各种预处理算法对模型预测能力的影响。应用竞争性自适应重加权采样(CARS)提取Raman和NIR光谱的特征波长,应用网格搜索(GS)算法选取支持向量机回归(SVR)模型的参数组合(C,g)值,分别建立基于拉曼和近红外光谱的特征波段的SVR预测模型;建立基于特征层的多源光谱融合的SVR预测模型。试验表明,基于特征层融合建立的Raman-NIR-SVR模型能够实现食用油MUFA和PUFA含量的快速预测,且预测效果更优。其中预测MUFA含量的SG15-ALS-Nor-CARS-MSC-CARSSVR模型的预测集决定系数R2为0.977 3,与单光谱中最优含量预测模型相比增加了2.43%;而预测PUFA含量的MA11-air PLS-Nor-CARS-MSC-CARS-SVR模型的预测集R2为0.993 0,比较最优单光谱数据建立的SVR模型增加了2.57%。结果表明,采用特征层融合方法建立的含量预测模型的综合性能优于基于单光谱数据建立的模型。 展开更多
关键词 单不饱和脂肪酸 多不饱和脂肪酸 特征融合 支持向量机回归
下载PDF
基于PCA和LBP的自适应加权融合人脸识别算法 被引量:8
18
作者 杨艳 郭振铎 徐庆伟 《中原工学院学报》 CAS 2018年第6期75-80,共6页
人脸识别技术易受光照、姿态和表情等影响,为增强人脸识别算法的鲁棒性,提出了一种基于PCA和LBP的自适应加权融合识别算法。首先,采用PCA和LBP算法提取人脸图像的特征;然后,利用CRC-RLS算法分别计算不同特征对应的协同表示误差;最后,提... 人脸识别技术易受光照、姿态和表情等影响,为增强人脸识别算法的鲁棒性,提出了一种基于PCA和LBP的自适应加权融合识别算法。首先,采用PCA和LBP算法提取人脸图像的特征;然后,利用CRC-RLS算法分别计算不同特征对应的协同表示误差;最后,提出一种基于L2范数的CCI指标,自适应地计算融合权重,并采用分数层加权融合策略实现对人脸图像的识别。实验结果表明,相对于传统的基于PCA或LBP特征的人脸识别算法,本文算法不仅具有较好的鲁棒性,而且可以显著提高人脸图像的识别率。 展开更多
关键词 人脸识别 LBP PCA 协同表示 分数融合
下载PDF
基于RCF的跨层融合特征的边缘检测 被引量:8
19
作者 宋杰 于裕 骆起峰 《计算机应用》 CSCD 北大核心 2020年第7期2053-2058,共6页
针对当前基于深度学习的边缘检测技术产生的边缘线条杂乱且模糊等问题,提出了一种基于RCF的端到端的跨层融合多尺度特征的边缘检测(CFF)模型。该模型使用RCF作为基线,在主干网络中加入CBAM,采用具有平移不变性的下采样技术,并且去除了... 针对当前基于深度学习的边缘检测技术产生的边缘线条杂乱且模糊等问题,提出了一种基于RCF的端到端的跨层融合多尺度特征的边缘检测(CFF)模型。该模型使用RCF作为基线,在主干网络中加入CBAM,采用具有平移不变性的下采样技术,并且去除了主干网络中的部分下采样操作,以保留图像的细节信息,同时使用扩张卷积技术增大模型感受野。此外,采用跨层融合特征图的方式,使得高低层特征能够充分融合。为了平衡各阶段损失和融合损失之间的关系,以及避免出现多尺度特征融合之后低层细节过度丢失的现象,对每个损失添加了一个权重。在伯克利分割数据集(BSDS500)和PASCAL VOL Context数据集上进行了训练,在测试时使用图像金字塔技术提高边缘图像的质量。实验结果表明,CFF模型提取的轮廓比基线网络更加清晰,能够解决边缘模糊问题。在BSDS500基准上进行的评估表明,该模型将最佳数据集规模(ODS)和最佳图像比例(OIS)指标分别提高到0.818和0.839。 展开更多
关键词 深度学习 边缘检测 注意力机制 平移不变性 融合
下载PDF
音视频双模态情感识别融合框架研究 被引量:8
20
作者 宋冠军 张树东 卫飞高 《计算机工程与应用》 CSCD 北大核心 2020年第6期140-146,共7页
针对双模态情感识别框架识别率低、可靠性差的问题,对情感识别最重要的两个模态语音和面部表情进行了双模态情感识别特征层融合的研究。采用基于先验知识的特征提取方法和VGGNet-19网络分别对预处理后的音视频信号进行特征提取,以直接... 针对双模态情感识别框架识别率低、可靠性差的问题,对情感识别最重要的两个模态语音和面部表情进行了双模态情感识别特征层融合的研究。采用基于先验知识的特征提取方法和VGGNet-19网络分别对预处理后的音视频信号进行特征提取,以直接级联的方式并通过PCA进行降维来达到特征融合的目的,使用BLSTM网络进行模型构建以完成情感识别。将该框架应用到AViD-Corpus和SEMAINE数据库上进行测试,并和传统情感识别特征层融合框架以及基于VGGNet-19或BLSTM的框架进行了对比。实验结果表明,情感识别的均方根误差(RMSE)得到降低,皮尔逊相关系数(PCC)得到提高,验证了文中提出方法的有效性。 展开更多
关键词 音视频 双模态 特征融合 情感识别 BLSTM
下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部