特征增强的Sparse Transformer目标跟踪算法

1

作者 张丽君 李建民 +1 位作者 侯文 王洁 《电光与控制》 CSCD 北大核心 2024年第5期18-23,共6页

针对Transformer的自注意力机制计算量大、容易被背景分心,导致有效信息抓取不足,从而降低跟踪性能的问题,提出特征增强的Sparse Transformer目标跟踪算法。基于孪生网络骨干进行特征提取;特征增强模块利用多尺度特征图生成的上下文信息... 针对Transformer的自注意力机制计算量大、容易被背景分心,导致有效信息抓取不足,从而降低跟踪性能的问题,提出特征增强的Sparse Transformer目标跟踪算法。基于孪生网络骨干进行特征提取;特征增强模块利用多尺度特征图生成的上下文信息,增强目标局部特征;利用Sparse Transformer的最相关特性生成目标聚焦特征,并嵌入位置编码提升跟踪定位的精度。提出的跟踪模型以端到端的方式进行训练,在OTB100,VOT2018和LaSOT等5个数据集上进行了大量实验,实验结果表明所提算法取得了较好的跟踪性能,实时跟踪速度为34帧/s。 展开更多

关键词 目标跟踪 注意力机制 transformer sparse transformer

下载PDF 职称材料

基于稀疏Transformer的遥感旋转目标检测 被引量：7

2

作者 何林远 白俊强 +2 位作者 贺旭 王晨 刘旭伦 《激光与光电子学进展》 CSCD 北大核心 2022年第18期45-53,共9页

针对遥感图像目标广邻域稀疏、多邻域聚集、方向多样等特性导致检测难度大的问题,提出了一种基于稀疏Transformer的遥感旋转目标检测方法。首先,所提方法在典型端到端Transformer网络的基础上,根据遥感图像的特性,利用Kmeans算法实现多... 针对遥感图像目标广邻域稀疏、多邻域聚集、方向多样等特性导致检测难度大的问题,提出了一种基于稀疏Transformer的遥感旋转目标检测方法。首先,所提方法在典型端到端Transformer网络的基础上,根据遥感图像的特性,利用Kmeans算法实现多域聚集,从而更好提取稀疏域下的目标特征;其次,为适配旋转目标的基本属性,在边框生成阶段,利用目标包围框的中心点及边框特征学习的策略高效获取目标回归斜边框;最后,为提升网络对遥感目标的检测率,对网络的损失函数进行了优化。在DOTA和UCASAOD遥感数据集上的实验结果表明,所提方法的平均精度分别为72.87%和90.4%,能很好地适应遥感图像中各类旋转目标的形状与分布特性。 展开更多

关键词 图像处理 遥感图像 旋转目标检测 稀疏transformer Kmeans

原文传递

基于稀疏Transformer的雷达点云三维目标检测 被引量：6

3

作者 韩磊 高永彬 史志才 《计算机工程》 CAS CSCD 北大核心 2022年第11期104-110,144,共8页

随着计算机视觉技术的发展,基于点云的三维目标检测算法被广泛应用于自动驾驶、机器人控制等领域。针对点云稀疏条件下基于点云三维目标检测算法鲁棒性较差、检测精度低的问题,提出基于稀疏Transformer的三维目标检测算法。在注意力矩... 随着计算机视觉技术的发展,基于点云的三维目标检测算法被广泛应用于自动驾驶、机器人控制等领域。针对点云稀疏条件下基于点云三维目标检测算法鲁棒性较差、检测精度低的问题,提出基于稀疏Transformer的三维目标检测算法。在注意力矩阵生成阶段,通过稀疏Transformer模块显式选择Top-t个权重元素,以保留有利于特征提取的权重元素,在降低环境噪点对鲁棒性影响的同时加快Transformer模块的运行速度。在回归阶段,将基于空间特征粗回归模块生成的边界框作为检测头模块的初始锚框,用于后续边界框的精细回归操作。设计基于体素的三维目标检测算法的损失函数,以精确地衡量类别损失、位置回归损失和方向损失。在KITTI数据集上的实验结果表明,相比PointPillars算法,该算法的平均精度均值提高3.46%,能有效提高点云三维目标的检测精度且具有较优的鲁棒性。相比原始Transformer模块,所提稀疏Transformer模块在点云图像上的平均运行速度加快了约0.54 frame/s。 展开更多

关键词 机器视觉 三维目标检测 稀疏transformer 粗回归 损失函数

下载PDF 职称材料

基于Transformer增强型U-net的CT图像稀疏重建与伪影抑制

4

作者 樊雪林 文昱齐 乔志伟 《CT理论与应用研究（中英文）》 2024年第1期1-12,共12页

实现低剂量计算机断层成像(CT)的一个有效办法是减少投影角度,但投影角度较少会产生严重的条状伪影,降低图像的临床使用价值。针对该问题,提出一种耦合卷积神经网络(CNN)和多种注意力机制的U型网络(TE-unet)。首先采用U型架构提取多尺... 实现低剂量计算机断层成像(CT)的一个有效办法是减少投影角度,但投影角度较少会产生严重的条状伪影,降低图像的临床使用价值。针对该问题,提出一种耦合卷积神经网络(CNN)和多种注意力机制的U型网络(TE-unet)。首先采用U型架构提取多尺度特征信息;其次提出一个包含CNN和多种注意力的模块提取图像特征;最后在跳跃连接处加入Transformer块过滤信息,抑制不相关特征,突出重要特征。所提网络结合CNN的局部特征提取能力和Transformer的全局信息捕获能力,辅以多种注意力机制,实现了良好的去条状伪影能力。在60个投影角度下,与经典的Uformer网络相比,峰值信噪比(PSNR)高出0.3178 dB,结构相似度(SSIM)高出0.002,均方根误差(RMSE)降低0.0005。实验结果表明,所提TE-unet重建的图像精度更高,图像细节保留的更好,可以更好地压制条状伪影。 展开更多

关键词 稀疏重建 计算机断层成像 transformer 多注意力机制 条状伪影

下载PDF 职称材料

高光谱图像去噪的稀疏空谱Transformer模型

5

作者 杨智翔 孙玉宝 +1 位作者 白志远 栾鸿康 《电子测量技术》 北大核心 2024年第1期150-158,共9页

现阶段Transformer模型的应用提升了高光谱图像去噪的性能,但原始Transformer模型对图像空间-光谱耦合关联性的利用仍存在不足;对空间特征的处理存在过于平滑,容易丢失小尺度结构的现象;同时在光谱维度上也过于关注全部通道特征,缺乏对... 现阶段Transformer模型的应用提升了高光谱图像去噪的性能,但原始Transformer模型对图像空间-光谱耦合关联性的利用仍存在不足;对空间特征的处理存在过于平滑,容易丢失小尺度结构的现象;同时在光谱维度上也过于关注全部通道特征,缺乏对不同光谱波段间差异性的利用;为了应对这些问题,本文提出了一种新的稀疏空谱Transformer模型,提升了对空谱耦合关联性的利用。在空间维度,引入局部增强模块增强空间特征细节,应对过平滑问题;同时在光谱维度上提出了Top-k稀疏自注意力机制,自适应选择前K个最相关的光谱通道特征进行特征交互,从而能够有效捕获空谱特征。最终通过稀疏空谱Transformer的层级残差连接实现高光谱图像的去噪。在ICVL数据集上分别对高斯噪声和复杂噪声进行去噪处理,峰值信噪比分别达到40.56 dB和40.19 dB,证明了本文提出的稀疏空谱Transformer模型优越的性能。 展开更多

关键词 高光谱图像去噪 空间-光谱联合特征 稀疏transformer

下载PDF 职称材料

基于融合通道注意力的Uformer的CT图像稀疏重建 被引量：1

6

作者 陈蒙蒙 乔志伟 《计算机应用》 CSCD 北大核心 2023年第9期2948-2954,共7页

针对解析法稀疏重建中产生的条状伪影问题,提出一种融合通道注意力的U型Transformer(CA-Uformer),以实现高精度计算机断层成像(CT)的稀疏重建。CA-Uformer融合了通道注意力和Transformer中的空间注意力,双注意力机制使网络更容易学习到... 针对解析法稀疏重建中产生的条状伪影问题,提出一种融合通道注意力的U型Transformer(CA-Uformer),以实现高精度计算机断层成像(CT)的稀疏重建。CA-Uformer融合了通道注意力和Transformer中的空间注意力,双注意力机制使网络更容易学习到图像细节信息;采用优秀的U型架构融合多尺度图像信息;采用卷积操作实现前向反馈网络设计,从而进一步耦合卷积神经网络(CNN)的局部信息关联能力和Transformer的全局信息捕捉能力。实验结果表明,与经典U-Net相比,CA-Uformer的峰值信噪比(PSNR)、结构相似性(SSIM)提高了3.27 dB、3.14%,均方根误差(RMSE)降低了35.29%,提升效果明显。可见,CA-Uformer稀疏重建精度更高,压制伪影能力更强。 展开更多

关键词 计算机断层成像 稀疏重建 条状伪影 transformer 通道注意力

下载PDF 职称材料

基于稀疏Transformer的长短时序关联动作识别算法

7

作者 廖健文 杨盈昀 卢玥 《中国传媒大学学报（自然科学版）》 2023年第6期56-63,共8页

针对主流的视频动作识别算法对时序信息的挖掘不充分,而Transformer能够更好地处理长序列和全局依赖性问题,本文将3DCNN和Transformer结合起来,提出了基于稀疏Transformer的长短时序关联动作识别算法,从而实现对视频的全局时序信息进行... 针对主流的视频动作识别算法对时序信息的挖掘不充分,而Transformer能够更好地处理长序列和全局依赖性问题,本文将3DCNN和Transformer结合起来,提出了基于稀疏Transformer的长短时序关联动作识别算法,从而实现对视频的全局时序信息进行建模。该算法提取预训练视频模型各个片段特征,嵌入视频特征聚类模块降低输入特征的潜在噪声,并利用基于稀疏自注意力的Transformer长短时序关联模块,引入稀疏掩码矩阵,对相似度矩阵进行掩码操作,抑制较小的注意力权重,选择性地保留重要的长短时序信息,提高模型对全局上下文信息的注意力集中程度。本文在UCF101和HMDB51数据集上进行了大量的实验,验证了本文算法的有效性,在参数量和计算复杂度较小的情况下准确率高于同类权威算法。 展开更多

关键词 深度学习 动作识别 稀疏transformer R3D-18

下载PDF 职称材料

基于稀疏自适应学习的台区用户拓扑结构校验 被引量：6

8

作者 冯振宇 沈浚 +2 位作者 汪东耀 刘英 温桂平 《电测与仪表》 北大核心 2020年第7期29-34,共6页

针对低压台区拓扑结构人工校验成本高且准确性不足的问题,提出了基于稀疏自适应学习的台区用户拓扑结构校验方法。基于用电信息系统采集的用电量数据,构建了参数化台区用电量模型,提出了稀疏自适应学习方法自动估计出模型参数。通过阈... 针对低压台区拓扑结构人工校验成本高且准确性不足的问题,提出了基于稀疏自适应学习的台区用户拓扑结构校验方法。基于用电信息系统采集的用电量数据,构建了参数化台区用电量模型,提出了稀疏自适应学习方法自动估计出模型参数。通过阈值检验识别出台户拓扑结构统计错误的用户。采用浙江省海宁地区的用电量数据对该方法的性能进行分析。实验结果表明,该方法具有较好的识别率。在模拟场景中,可以达到100%的查全率和查准率;在真实场景中,可以达到84.8%的查准率和90.7%的查全率。 展开更多

关键词 拓扑结构校验 稀疏学习 低压台区 用电量 参数估计 最小均方误差

下载PDF 职称材料

融合稀疏降噪自编码与聚类算法的配电网台区分类研究 被引量：6

9

作者 张潇龙 齐林海 《电力信息与通信技术》 2019年第12期15-23,共9页

配电网台区分类研究对"煤改电"工程挖掘台区用电规律、规划电网等工作具有重要的指导意义。为了对台区进行有效处理分类,针对具有日趋复杂、大数据量、高维、非线性等特征的配电网台区变压器运行数据,文章采用基于数据驱动方... 配电网台区分类研究对"煤改电"工程挖掘台区用电规律、规划电网等工作具有重要的指导意义。为了对台区进行有效处理分类,针对具有日趋复杂、大数据量、高维、非线性等特征的配电网台区变压器运行数据,文章采用基于数据驱动方式的稀疏降噪自编码器网络对台区变压器负载率数据无监督训练,自主提取特征,学习去除数据噪声,降低序列维度,然后利用K-means算法对特征序列聚类分析,得到台区类型。该模型能够很好地提取高维无标签数据特征,降低数据维度,提高聚类效率。实验结果表明,该模型在配电网台区分类应用中效果明显,且具有良好的抗噪性和泛化能力。 展开更多

关键词 稀疏降噪自编码器网络 序列降维 K-MEANS聚类 台区分类

下载PDF 职称材料

结合transformer多尺度实例交互的稀疏集目标检测 被引量：1

10

作者 阚亚亚 张孙杰 +1 位作者 熊娟 祖奕 《应用科学学报》 CAS CSCD 北大核心 2023年第5期777-788,共12页

为改进稀疏集目标检测方法存在的特征图缺乏空间细节信息、目标特征没有做到全局上下文实例交互、全局语义信息没有得到充分学习等问题,设计了一种结合自适应特征增强和实例特征交互的稀疏集目标检测算法。自适应特征增强模块在特征提... 为改进稀疏集目标检测方法存在的特征图缺乏空间细节信息、目标特征没有做到全局上下文实例交互、全局语义信息没有得到充分学习等问题,设计了一种结合自适应特征增强和实例特征交互的稀疏集目标检测算法。自适应特征增强模块在特征提取过程中利用不同尺度的池化和卷积来丰富高级语义信息,减小低级语义信息背景噪声的干扰,降低目标错检率和漏检率。实例特征交互模块在边界框回归设计中结合transformer的多层注意力,并融合通道注意力和动态卷积网络对建议框的通道信息进行增强,改善了目标的边缘信息,提高了网络的实例特征交互效率。最后在COCO2017数据集与原始网络进行实验对比,平均精度提升了4.2%,其中在大目标上提升了4.6%,在PASCAL VOC数据集上提升了2.7%。 展开更多

关键词 稀疏集目标检测 多尺度特征 实例特征交互 transformer

下载PDF 职称材料

基于自适应空间稀疏化的高效多视图立体匹配

11

作者 周晓清 王翔 +1 位作者 郑锦 百晓 《电子学报》 EI CAS CSCD 北大核心 2023年第11期3079-3091,共13页

针对多视图立体匹配中构建和聚合匹配代价体时计算复杂度高的问题,现有研究通常采用级联架构或迭代优化方法.然而这些方法仍面临两个亟待解决的挑战:级联架构在精细阶段缩小了深度采样范围,导致深度不连续区域可能陷入低分辨率的错误估... 针对多视图立体匹配中构建和聚合匹配代价体时计算复杂度高的问题,现有研究通常采用级联架构或迭代优化方法.然而这些方法仍面临两个亟待解决的挑战:级联架构在精细阶段缩小了深度采样范围,导致深度不连续区域可能陷入低分辨率的错误估计;而迭代优化网络的推理时间随迭代次数线性增长,难以满足实时系统需求.为此,本文提出一种基于自适应空间稀疏化的高效多视图立体匹配网络.我们提出一种稀疏匹配代价体构建方法,通过在完整深度范围内稀疏采样,在降低计算复杂度的同时保持了网络对深度不连续区域的建模能力.同时,我们提出一种稀疏迭代优化方法,在迭代中通过自适应变分Dropout逐步剪枝深度值已收敛的区域,使推理时间随迭代次数亚线性增长.在DTU和Tanks&Temples公共数据集上的实验结果表明,本文方法的推理速度相比CasMVSNet和PatchmatchNet分别快1.2倍和0.35倍,同时点云重建效果优异,边缘伪影显著减少,且泛化能力表现出色. 展开更多

关键词 多视图立体 三维重建 深度估计 稀疏神经网络 循环神经网络 transformer

下载PDF 职称材料

基于稀疏权重共享的多模态轨迹预测

12

作者 刘占文 李文倩 +3 位作者 林杉 李超 樊星 赵祥模 《中国公路学报》 EI CAS CSCD 北大核心 2023年第9期244-256,共13页

复杂动态环境与驾驶人意图的不确定性会导致车辆未来运动轨迹产生多种概率分布。基于Transformer的轨迹预测模型能够很好地建模车辆间的交互关系,但多模态轨迹预测的参数量和计算量都很大,且存在3~5 s内长时预测精度低等问题。提出一种... 复杂动态环境与驾驶人意图的不确定性会导致车辆未来运动轨迹产生多种概率分布。基于Transformer的轨迹预测模型能够很好地建模车辆间的交互关系,但多模态轨迹预测的参数量和计算量都很大,且存在3~5 s内长时预测精度低等问题。提出一种基于稀疏权重共享的多模态轨迹预测网络,构建包括数据处理模块、权重迭代剪枝模块、编码器模块和解码器模块的预测框架,以轻量化的方式实现多模轨迹的长时精准预测。首先,由基于无监督聚类的数据处理模块计算车辆行驶时间内的横向位移差,聚类得到左偏移、右偏移和保持直行3种具有不同驾驶意图的样本数据子集。其次,构建权重迭代剪枝模块,对Transformer解码器的自注意力机制进行参数稀疏化,为不同驾驶意图的数据生成对应的子网掩码,形成稀疏共享子网络。然后,将具有不同驾驶意图的数据子集依次输入到编码器模块,再传输至解码器的稀疏共享子网络中进行并行训练。最后,得到多种驾驶意图的预测轨迹模型,实现输出车辆多模态预测轨迹及分布概率,并基于真实高速公路车辆轨迹HighD和NGSIM数据集进行了算法对比试验。结果表明:与现有的多模态预测方法相比,所提出方法的均方根误差在3~5 s内长时轨迹预测具有显著优势,且与单模态轨迹预测相比,大大提高了预测轨迹的多样性与精度。 展开更多

关键词 交通工程 轨迹预测 稀疏权重共享 多模态 transformer

原文传递

多通道稀疏图变换网络用于早期阿尔茨海默病识别

13

作者 邱雅利 朱云 +3 位作者 余双至 宋雪刚 汪天富 雷柏英 《中国生物医学工程学报》 CAS CSCD 北大核心 2023年第4期442-452,共11页

目前阿尔茨海默病(AD)尚无有效的防治方法,早期临床干预可以延缓其进展,改善预后。然而现有的方法只考虑从群体关系中学习到的神经影像学特征而不考虑被试的个体特征。本研究设计了一种新颖的多模态多通道稀疏图变换网络(MSGTN)以期实... 目前阿尔茨海默病(AD)尚无有效的防治方法,早期临床干预可以延缓其进展,改善预后。然而现有的方法只考虑从群体关系中学习到的神经影像学特征而不考虑被试的个体特征。本研究设计了一种新颖的多模态多通道稀疏图变换网络(MSGTN)以期实现早期AD识别。首先,获取并处理每个被试者的影像信息[如弥散张量成像(DTI)和功能磁共振成像(fMRI)等]以及其相应的非影像信息(如年龄、性别等);其次,利用局部加权聚类系数(LWCC)将功能信息和结构信息进行融合,并将已融合的多模态影像特征与受试者的性别和年龄信息相结合来构建稀疏图;最后,将构建的稀疏图输入所设计的MSGTN网络模型用于早期AD识别。从公共数据库ADNI上获得共170个受试者,其中38个晚期轻度认知障碍(LMCI)患者,44个早期轻度认知障碍(EMCI)患者,44个显著记忆下降(SMC)患者和44个正常对照(NC)。结果表明,SMC与NC的准确度为87.02%,EMCI与NC的准确度为87.40%,LMCI与NC的准确度为91.49%,SMC与EMCI的准确度为88.93%、SMC与LMCI的准确度为86.74%、EMCI与LMCI的准确度为92.12%。所提出的诊断模型不仅能够分析出NC与3种不同早期AD疾病状态,而且在3种不同早期AD疾病状态中也取得了优越的分类性能。 展开更多

关键词 阿尔茨海默病 多模态信息融合 早期识别 多通道学习 图稀疏变换网络

下载PDF 职称材料

基于信息融合和SSAEN的变压器故障诊断方法的研究

14

作者 朱超岩 姚晓东 《新一代信息技术》 2019年第17期75-79,共5页

在当前所有的电力设备中,变压器的作用最为重要,电能转换和传输都需要变压器来完成,因此对变压器可能存在的潜伏性故障进行诊断是当前研究的热点。传统的研究方法对于变压器的故障数据要求苛刻,并且诊断的效果不佳,无法利用油色谱分析... 在当前所有的电力设备中,变压器的作用最为重要,电能转换和传输都需要变压器来完成,因此对变压器可能存在的潜伏性故障进行诊断是当前研究的热点。传统的研究方法对于变压器的故障数据要求苛刻,并且诊断的效果不佳,无法利用油色谱分析仪检测到的大量无标签数据。本文提出一种基于信息融合的变压器诊断新方法,将DS证据理论与堆栈稀疏自动编码器网络(Stack Sparse Automatic Encoder Network,SSAEN)进行结合,通过层层贪婪无监督训练的方法,充分利用检测到的无标签数据来训练诊断模型,再通过参数调优,最终训练出的诊断模型经过试验测试诊断正确率为96.7%,远高于传统的诊断方法。 展开更多

关键词 信息融合 稀疏自动编码器 变压器 故障诊断

下载PDF 职称材料