近年来,全卷积神经网络有效提升了语义分割任务的准确率.然而,由于室内环境的复杂性,室内场景语义分割仍然是一个具有挑战性的问题.随着深度传感器的出现,人们开始考虑利用深度信息提升语义分割效果.以往的研究大多简单地使用等权值的...近年来,全卷积神经网络有效提升了语义分割任务的准确率.然而,由于室内环境的复杂性,室内场景语义分割仍然是一个具有挑战性的问题.随着深度传感器的出现,人们开始考虑利用深度信息提升语义分割效果.以往的研究大多简单地使用等权值的拼接或求和操作来融合RGB特征和深度特征,未能充分利用RGB特征与深度特征之间的互补信息.本文提出一种基于注意力感知和语义感知的网络模型ASNet(Attention-aware and Semantic-aware Network).通过引入注意力感知多模态融合模块和语义感知多模态融合模块,有效地融合多层次的RGB特征和深度特征.其中,在注意力感知多模态融合模块中,本文设计了一种跨模态注意力机制,RGB特征和深度特征利用互补信息相互指导和优化,从而提取富含空间位置信息的特征表示.另外,语义感知多模态融合模块通过整合语义相关的RGB特征通道和深度特征通道,建模多模态特征之间的语义依赖关系,提取更精确的语义特征表示.本文将这两个多模态融合模块整合到一个带有跳跃连接的双分支编码-解码网络模型中.同时,网络在训练时采用深层监督策略,在多个解码层上进行监督学习.在公开数据集上的实验结果表明,本文算法优于现有的RGB-D图像语义分割算法,在平均精度和平均交并比上分别比近期算法提高了1.9%和1.2%.展开更多
年龄变化是影响人脸识别模型性能的主要原因之一,为解决年龄变化所带来的模型识别率低的问题,提出了一种基于深度学习的跨年龄卷积神经网络模型(CA-CNN)用于跨年龄人脸识别。首先,利用卷积神经网络提取人脸图像中的深度人脸特征;然后,...年龄变化是影响人脸识别模型性能的主要原因之一,为解决年龄变化所带来的模型识别率低的问题,提出了一种基于深度学习的跨年龄卷积神经网络模型(CA-CNN)用于跨年龄人脸识别。首先,利用卷积神经网络提取人脸图像中的深度人脸特征;然后,提出一种高效的卷积注意力模块从深度人脸特征中获取年龄特征,并结合多层感知机和多任务监督学习,将深度人脸特征非线性分解为年龄特征和身份特征;最后,为了更好地区分身份特征和年龄特征,提出了一种批核典型相关性分析模块对分解后的身份特征和年龄特征进行相关性分析。经过对抗性学习训练后,相关性最小化,实现了跨年龄人脸识别。所提模型在MORPH Album 2数据集上的rank-1识别准确率达到了99.03%,在CALFM数据集上的人脸验证等错率为9.8%,表明了所提模型的有效性。展开更多
文摘近年来,全卷积神经网络有效提升了语义分割任务的准确率.然而,由于室内环境的复杂性,室内场景语义分割仍然是一个具有挑战性的问题.随着深度传感器的出现,人们开始考虑利用深度信息提升语义分割效果.以往的研究大多简单地使用等权值的拼接或求和操作来融合RGB特征和深度特征,未能充分利用RGB特征与深度特征之间的互补信息.本文提出一种基于注意力感知和语义感知的网络模型ASNet(Attention-aware and Semantic-aware Network).通过引入注意力感知多模态融合模块和语义感知多模态融合模块,有效地融合多层次的RGB特征和深度特征.其中,在注意力感知多模态融合模块中,本文设计了一种跨模态注意力机制,RGB特征和深度特征利用互补信息相互指导和优化,从而提取富含空间位置信息的特征表示.另外,语义感知多模态融合模块通过整合语义相关的RGB特征通道和深度特征通道,建模多模态特征之间的语义依赖关系,提取更精确的语义特征表示.本文将这两个多模态融合模块整合到一个带有跳跃连接的双分支编码-解码网络模型中.同时,网络在训练时采用深层监督策略,在多个解码层上进行监督学习.在公开数据集上的实验结果表明,本文算法优于现有的RGB-D图像语义分割算法,在平均精度和平均交并比上分别比近期算法提高了1.9%和1.2%.
文摘年龄变化是影响人脸识别模型性能的主要原因之一,为解决年龄变化所带来的模型识别率低的问题,提出了一种基于深度学习的跨年龄卷积神经网络模型(CA-CNN)用于跨年龄人脸识别。首先,利用卷积神经网络提取人脸图像中的深度人脸特征;然后,提出一种高效的卷积注意力模块从深度人脸特征中获取年龄特征,并结合多层感知机和多任务监督学习,将深度人脸特征非线性分解为年龄特征和身份特征;最后,为了更好地区分身份特征和年龄特征,提出了一种批核典型相关性分析模块对分解后的身份特征和年龄特征进行相关性分析。经过对抗性学习训练后,相关性最小化,实现了跨年龄人脸识别。所提模型在MORPH Album 2数据集上的rank-1识别准确率达到了99.03%,在CALFM数据集上的人脸验证等错率为9.8%,表明了所提模型的有效性。
