多模态语义分割网络可以利用不同模态中的互补数据提升分割精度,但现有的多模语义分割模型多为将两种模态数据简单拼接起来,忽略了不同模态数据在高低频中的特征特性,导致跨模态特征提取不充分,融合不理想。针对上述问题,提出了将IRRG...多模态语义分割网络可以利用不同模态中的互补数据提升分割精度,但现有的多模语义分割模型多为将两种模态数据简单拼接起来,忽略了不同模态数据在高低频中的特征特性,导致跨模态特征提取不充分,融合不理想。针对上述问题,提出了将IRRG图像与DSM图像融合的遥感图像语义分割网络LHFNet(low feature and high feature fusion network)。针对各模态图像低频相关的结构特征,设计了低级特征提取加强模块,以加强不同模态特征的提取;基于各模态图像高频相互独立的细节特征,设计了高级特征融合模块,以指导不同模态的特征融合;针对高低频图像特征之间的语义鸿沟,设计了全局空洞空间金字塔池化模块跳跃连接高低频信息,以增强高低频图像特征之间的信息交互。通过基于ISPRS提供的Vaihingen和Potsdam数据集上的实验表明,LHFNet分别取得了88.17%和90.53%的全局精确度,相较于SegNet、DeepLabv3+等单模分割网络和RedNet、TSNet等多模RGB-D分割网络都具有更高的分割精确度。展开更多
文摘多模态语义分割网络可以利用不同模态中的互补数据提升分割精度,但现有的多模语义分割模型多为将两种模态数据简单拼接起来,忽略了不同模态数据在高低频中的特征特性,导致跨模态特征提取不充分,融合不理想。针对上述问题,提出了将IRRG图像与DSM图像融合的遥感图像语义分割网络LHFNet(low feature and high feature fusion network)。针对各模态图像低频相关的结构特征,设计了低级特征提取加强模块,以加强不同模态特征的提取;基于各模态图像高频相互独立的细节特征,设计了高级特征融合模块,以指导不同模态的特征融合;针对高低频图像特征之间的语义鸿沟,设计了全局空洞空间金字塔池化模块跳跃连接高低频信息,以增强高低频图像特征之间的信息交互。通过基于ISPRS提供的Vaihingen和Potsdam数据集上的实验表明,LHFNet分别取得了88.17%和90.53%的全局精确度,相较于SegNet、DeepLabv3+等单模分割网络和RedNet、TSNet等多模RGB-D分割网络都具有更高的分割精确度。
