在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络...在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络(a multi-task segmentation network for plant on 3D point cloud,MT-SegNet),结合多值条件随机场(multi-value conditional random field,MV-CRF)模型,同时实现茎、叶语义分割和叶实例分割。在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块。它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能。同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例。最后,使用MV-CRF进行多任务的联合优化。在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54%、93.64%、91.39%、92.48%,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10%、78.44%、76.24%、76.93%,均优于PointNet、JSNet等现有的深度学习网络。该模型也适用于类似植物的点云分割类任务。这有助于为植物自动化表型测量提供必要的技术条件。展开更多
传统的植株器官分割方法依赖经验选择阈值参数,而当前的深度学习浅层框架可能会导致植株重要的几何特征丢失,并难以有效整合植株的局部和全局特征。因此,提出了一个基于三维点云的植株器官分割网络(local global feature fusion segment...传统的植株器官分割方法依赖经验选择阈值参数,而当前的深度学习浅层框架可能会导致植株重要的几何特征丢失,并难以有效整合植株的局部和全局特征。因此,提出了一个基于三维点云的植株器官分割网络(local global feature fusion segmentation network,LGF-SegNet)模型,通过引入双权重注意力机制模块和位置编码,更适合在植株点云数据中表达几何特征。在提出的框架的解码层引入特征聚合模块,融合植株点云的局部和全局特征,使得该框架能够关注植株的整体特征轮廓同时保留细节植物纹理(如茎和叶)。实验结果表明,提出的架构在语义分割的交并比、精确率和F1分数的平均值分别达到85.76%、93.18%、91.08%,在实例分割的平均精确率、平均实例覆盖率以及平均实例加权覆盖率达到85.27%、78.46%、79.63%,优于当前流行的植株点云分割任务中使用的深度学习网络架构,并适用于植株语义分割和实例分割的双重任务。这为后续的植株生长预测等研究奠定基础。展开更多
文摘在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络(a multi-task segmentation network for plant on 3D point cloud,MT-SegNet),结合多值条件随机场(multi-value conditional random field,MV-CRF)模型,同时实现茎、叶语义分割和叶实例分割。在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块。它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能。同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例。最后,使用MV-CRF进行多任务的联合优化。在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54%、93.64%、91.39%、92.48%,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10%、78.44%、76.24%、76.93%,均优于PointNet、JSNet等现有的深度学习网络。该模型也适用于类似植物的点云分割类任务。这有助于为植物自动化表型测量提供必要的技术条件。
