腹腔镜手术自动化是智能外科的重要组成部分,其前提是腔镜视野下手术器械与脏器实时精准分割。受术中血液污染、烟雾干扰等复杂因素影响,器械与脏器实时精准分割面临巨大挑战,现有图像分割方法均表现不佳。因此提出一种基于注意力感知...腹腔镜手术自动化是智能外科的重要组成部分,其前提是腔镜视野下手术器械与脏器实时精准分割。受术中血液污染、烟雾干扰等复杂因素影响,器械与脏器实时精准分割面临巨大挑战,现有图像分割方法均表现不佳。因此提出一种基于注意力感知与空间通道的快速分割网络(ASC-Net),以实现腹腔镜图像中器械和脏器快速精准分割。在UNet架构下,设计了注意力感知与空间通道模块,通过跳跃连接将二者嵌入编码与解码模块间,使网络重点关注图像中相似目标间深层语义信息差异,同时多维度学习各目标的多尺度特征。此外,采用预训练微调策略,减小网络计算量。实验结果表明:在EndoVis2018数据集上的平均骰子系数(mDice)、平均重叠度(mIoU)、平均推理时间(mIT)分别为90.64%,86.40%和16.73 ms (60帧/秒),相比于现有最先进方法,mDice与mIoU提升了26%与39%,且mIT降低了56%;在AutoLaparo数据集上的mDice,mIoU和mIT分别为93.72%,89.43%和16.41ms(61帧/秒),同样优于对比方法。该方法在保证分割速度的同时有效提升了分割精度,实现了腹腔镜图像中手术器械和脏器的快速精准分割,将助力腹腔镜手术自动化快速发展。展开更多
文摘腹腔镜手术自动化是智能外科的重要组成部分,其前提是腔镜视野下手术器械与脏器实时精准分割。受术中血液污染、烟雾干扰等复杂因素影响,器械与脏器实时精准分割面临巨大挑战,现有图像分割方法均表现不佳。因此提出一种基于注意力感知与空间通道的快速分割网络(ASC-Net),以实现腹腔镜图像中器械和脏器快速精准分割。在UNet架构下,设计了注意力感知与空间通道模块,通过跳跃连接将二者嵌入编码与解码模块间,使网络重点关注图像中相似目标间深层语义信息差异,同时多维度学习各目标的多尺度特征。此外,采用预训练微调策略,减小网络计算量。实验结果表明:在EndoVis2018数据集上的平均骰子系数(mDice)、平均重叠度(mIoU)、平均推理时间(mIT)分别为90.64%,86.40%和16.73 ms (60帧/秒),相比于现有最先进方法,mDice与mIoU提升了26%与39%,且mIT降低了56%;在AutoLaparo数据集上的mDice,mIoU和mIT分别为93.72%,89.43%和16.41ms(61帧/秒),同样优于对比方法。该方法在保证分割速度的同时有效提升了分割精度,实现了腹腔镜图像中手术器械和脏器的快速精准分割,将助力腹腔镜手术自动化快速发展。
