基于时空注意机制与LSTM的暂态电压稳定评估

1

作者 刘颂凯 崔梓琪 +3 位作者 杨超 阮肇华 张磊 袁铭洋 《电力系统及其自动化学报》 CSCD 北大核心 2024年第6期82-91,共10页

针对新型电力系统发展背景下现阶段机器学习算法难以准确判断风电并网系统暂态电压稳定性的问题,提出一种基于时空注意机制与长短期记忆网络的暂态电压稳定评估方法。首先,基于支持向量机对初始单特征评价进行特征粗筛,并采用皮尔逊相... 针对新型电力系统发展背景下现阶段机器学习算法难以准确判断风电并网系统暂态电压稳定性的问题,提出一种基于时空注意机制与长短期记忆网络的暂态电压稳定评估方法。首先,基于支持向量机对初始单特征评价进行特征粗筛,并采用皮尔逊相关系数法判断剩余特征的相似度;其次,通过主成分分析-加权负荷评价获取与暂态电压稳定情况相关性较高的特征集;然后,通过时空注意机制,量化系统负载节点间的空间耦合关系和风电接入点间的空间相关性对整个系统暂态进程的影响,构建基于时空注意机制与长短期记忆网络的评估模型;最后,在算例上进行仿真分析,结果表明该模型有利于风电并网系统暂态电压稳定性判别准确率的提升,以及减少误判和漏判。 展开更多

关键词 风电并网系统 特征集 时空注意机制 长短期记忆网络 暂态电压稳定

下载PDF 职称材料

多重注意机制及权重校正LSTM的PVC含水率预测

2

作者 张帅杰 郭小萍 +1 位作者 臧春华 苏宝玉 《电子测量技术》 北大核心 2023年第5期83-90,共8页

针对PVC干燥工段中,PVC含水率存在非线性、大滞后、与其他变量关联性复杂难以预测的问题,提出一种多重注意机制及权重校正型长短期记忆网络(LSTM)模型用于PVC含水率的预测。在编码器部分,利用与含水率相关的输入序列之间的相关性对空间... 针对PVC干燥工段中,PVC含水率存在非线性、大滞后、与其他变量关联性复杂难以预测的问题,提出一种多重注意机制及权重校正型长短期记忆网络(LSTM)模型用于PVC含水率的预测。在编码器部分,利用与含水率相关的输入序列之间的相关性对空间注意机制训练的可变权重进行校正,避免由于单纯数据训练导致相关性强的输入变量之间权重差异较大,进而实际干燥工艺不符;同时,由于含水率预测的滞后特性,为减弱长子时间窗口内LSTM单元细胞状态信息丢失,提出信息补偿机制补偿之前时刻细胞状态信息。在解码器部分,利用时间注意机制对编码器的隐藏层状态进行权重更新,解除固定长度向量对模型性能的限制。最后,选取某化工公司干燥工段DCS数据进行验证,相对于RNN、VA-LSTM、STA-LSTM相关系数(R2)分别提高了571%、122.6%、82.6%,结果表明本文模型具有一定优越性。 展开更多

关键词 PVC含水率 时空注意机制 权重校正 信息补偿机制 LSTM

下载PDF 职称材料

基于时空自适应图卷积神经网络的脑电信号情绪识别 被引量：9

3

作者 高越 傅湘玲 +2 位作者 欧阳天雄 陈松龄 闫晨巍 《计算机科学》 CSCD 北大核心 2022年第4期30-36,共7页

随着人机交互在计算机辅助领域的快速发展,脑电信号已成为情绪识别的主要手段。与此同时,图网络因其对拓扑结构数据的优秀表征能力,逐渐受到研究者们的广泛关注。为进一步提升图网络对多通道脑电信号的表征性能,文中结合脑电信号的稀疏... 随着人机交互在计算机辅助领域的快速发展,脑电信号已成为情绪识别的主要手段。与此同时,图网络因其对拓扑结构数据的优秀表征能力,逐渐受到研究者们的广泛关注。为进一步提升图网络对多通道脑电信号的表征性能,文中结合脑电信号的稀疏性、不频繁性等多种特性,提出了一种基于时空自适应图卷积神经网络的脑电情绪识别方法(Self-Adaptive Brain Graph Convolutional Network with Spatiotemporal Attention,SABGCN-ST)。该方法通过引入时空注意力机制解决了情绪的稀疏性问题,并根据自适应学习的脑网络拓扑邻接矩阵,挖掘不同位置的电极通道之间的功能连接关系。最终模型基于图卷积操作进行图结构的特征学习,以实现对脑电信号的情绪预测。在DEAP和SEED两个脑电信号公开数据集上开展了大量实验,实验结果证明,SABGCN-ST相比基线模型在准确率上具有显著的优势,平均情绪识别准确率达到84.91%。 展开更多

关键词 脑电信号 情绪识别 图卷积神经网络 时空注意力机制 自适应邻接矩阵 深度学习

下载PDF 职称材料

基于EEG和面部视频的多模态连续情感识别

4

作者 雪雯 陈景霞 +1 位作者 胡凯蕾 刘洋 《陕西科技大学学报》 北大核心 2024年第1期169-176,共8页

针对脑电(Electroencephalogram, EEG)通道间和时间上情绪强度的改变很难被捕捉,以及不同被试的面部特征情绪上的相似性难以挖掘的问题,文章提出了一种基于EEG和面部视频的多模态连续情感识别模型.采用基于时空注意力机制(Spatial-Tempo... 针对脑电(Electroencephalogram, EEG)通道间和时间上情绪强度的改变很难被捕捉,以及不同被试的面部特征情绪上的相似性难以挖掘的问题,文章提出了一种基于EEG和面部视频的多模态连续情感识别模型.采用基于时空注意力机制(Spatial-Temporal Attention)的卷积和双向长短期记忆神经网络的组合模型(STA-CNNBiLSTM)对EEG中提取的功率谱密度(Power Spectral Density, PSD)特征进行深层特征学习与情感分类;采用引入自注意力机制的预训练卷积神经网络(SA-CNN)对人脸面部几何特征进行学习与情感分类.采用决策级融合算法,对两个模态的分类结果进行迭代学习与融合,得到最终多模态情感分类结果.在公开数据集MAHNOB-HCI进行了大量对比验证实验,在FER2013数据集的面部几何特征上对SA-CNN模型进行了预训练.在独立被试的实验中,所提模型在效价维度二分类的平均准确率为75.50%,在唤醒维度二分类的平均准确率为79.00%,均优于单模态上的最高平均准确率.和目前流行的模型LSSVM、SE-CNN和AM-LSTM相比较,所提模型的分类效果更优,验证了所提时空注意力机制能够捕捉更多的EEG时空特征,自注意力机制能够关注到不同被试面部特征的相似性,进而提高了多模态情感识别的性能. 展开更多

关键词 EEG 多模态情感识别 卷积双向长短期记忆组合模型 时空注意力机制 自注意力机制

下载PDF 职称材料

基于STAGCN-Informer时空组合模型的风电功率预测方法

5

作者 杨绍祖 王海程 +1 位作者 吴金雅 马纪颖 《计算机与现代化》 2024年第7期13-20,共8页

针对风电功率预测中,空间信息受时空波动性和随机性影响无法有效提取,导致预测精度不足的问题,提出一种基于变分模态分解(Variational Mode Decomposition,VMD)、融合时空注意力图卷积网络(Spatiotemporal Attention Graph Convolutiona... 针对风电功率预测中,空间信息受时空波动性和随机性影响无法有效提取,导致预测精度不足的问题,提出一种基于变分模态分解(Variational Mode Decomposition,VMD)、融合时空注意力图卷积网络(Spatiotemporal Attention Graph Convolutional Network,STAGCN)和改进Informer的组合模型(STAGCN-Informer-DCP)。首先运用VMD对原始特征进行模态分解,提取出不同时间尺度上的特征信息。同时利用北方苍鹰算法(Northern Goshawk Optimization,NGO)优化VMD的核心参数(惩罚因子和K值)选择。其次,利用融合时空注意力的STAGCN模块动态捕捉目标风机与近邻相似风机的时空特征,并将其与原始的信号分量融合获得携带空间尺度信息的特征向量。最后使用改进的Informer模型提取时序上下文的长期依赖关系,并实现多步输出预测。实验结果表明,该组合模型能较好地捕捉动态时空依赖,并有效提高了中长期风电预测的准确度。 展开更多

关键词 变分模态分解 时空注意力机制 Informer模型 北方苍鹰优化算法 图卷积网络

下载PDF 职称材料

基于时空注意力-Seq2Seq网络的ISAR包络对齐方法

6

作者 李文哲 李开明 +3 位作者 岳屹峰 王金昊 许慧革 罗迎 《信号处理》 CSCD 北大核心 2024年第9期1659-1673,共15页

包络对齐是逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)成像中平动补偿处理的第一步,包络对齐的精度对于方位聚焦和成像质量具有重要影响。针对稀疏孔径和低信噪比条件下传统的包络对齐算法性能显著降低的问题,本文提出一... 包络对齐是逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)成像中平动补偿处理的第一步,包络对齐的精度对于方位聚焦和成像质量具有重要影响。针对稀疏孔径和低信噪比条件下传统的包络对齐算法性能显著降低的问题,本文提出一种基于时空注意力-Seq2Seq网络的包络对齐方法。该网络模型以门控循环单元为编码解码单元,针对点目标距离像包络的能量分布特征对空间注意力机制进行改进后,添加时间和空间两维注意力机制形成对ISAR距离像回波包络进行对齐的能力。数据生成方面,基于电磁波仿真参数和目标运动仿真参数进行成像模拟仿真构造了ISAR回波数据集,经过8倍插值后输入网络进行训练,使网络学习到从未对齐回波到对齐回波的映射关系。所提方法以离线训练代替在线相关计算,融合了Seq2Seq模型在处理序列到序列问题上的结构优势、时间注意力机制在捕捉长期依赖关系和空间注意力机制在提取区域特征上的突出能力,实现了稀疏孔径和低信噪比条件下对距离-慢时间域ISAR回波的自动对齐。通过向训练好的时空注意力-Seq2Seq网络输入未对齐的回波序列,网络可以在不改变回波相位结构的前提下自动实现包络对齐。仿真和实测数据对齐结果表明,和传统的包络对齐方法相比,所提方法在稀疏孔径和低信噪比条件下优势明显,在欠采样率为50%、信噪比为0 dB条件下对雅克-42飞机实测回波数据的包络对齐实验中,该方法将循环移位误差由39、26减小至6,将成像结果的图像熵由4.58、4.22减小至1.71,验证了其良好性能。 展开更多

关键词 逆合成孔径雷达成像 包络对齐 时空注意力机制 Seq2Seq模型

下载PDF 职称材料

视频监控场景下基于时空注意力机制的异常行为检测算法研究

7

作者 王猛 《新潮电子》 2024年第6期88-90,共3页

随着视频监控技术的迅猛发展,异常行为检测在安防领域中日益受到关注。本文针对视频监控场景下的异常行为检测问题,提出一种基于时空注意力机制的新型算法。该算法通过对视频帧序列中的时序信息和空间分布进行联合建模,实现对异常行为... 随着视频监控技术的迅猛发展,异常行为检测在安防领域中日益受到关注。本文针对视频监控场景下的异常行为检测问题,提出一种基于时空注意力机制的新型算法。该算法通过对视频帧序列中的时序信息和空间分布进行联合建模,实现对异常行为的高效检测。时空注意力机制能够动态地调整对不同时刻和空间位置的关注程度,从而更好地捕捉异常行为的时空特征。实验结果表明,相较于传统方法,本文提出的算法在准确性和鲁棒性上均取得显著改进,为视频监控场景下的异常行为检测提供一种有效的解决方案。 展开更多

关键词 视频监控 异常行为检测 时空注意力机制 时序信息 空间分布

下载PDF 职称材料

基于轻量级神经网络的暴力视频分类方法研究

8

作者 李娜 王迎超 +2 位作者 秦立浩 黄涛 李佳乐 《信息技术与信息化》 2024年第3期204-207,共4页

随着视频类自媒体平台的迅速发展,视频内容的安全性审核需求急速增加。为提高视频内容审核的便捷性和准确性,提出结合轻量级神经网络和长短时记忆网络的暴力视频分类方法。借助轻量级神经网络提取视频帧的视觉特征,使用长短时记忆网络... 随着视频类自媒体平台的迅速发展,视频内容的安全性审核需求急速增加。为提高视频内容审核的便捷性和准确性,提出结合轻量级神经网络和长短时记忆网络的暴力视频分类方法。借助轻量级神经网络提取视频帧的视觉特征,使用长短时记忆网络对视频帧之间的时序特征将进行提取,引入时空注意力机制提高视频分类准确率。实验结果表明,所提出的方法不仅在模型上表现出轻量性,而且还能提高视频分类的准确性。 展开更多

关键词 轻量级神经网络 暴力视频分类 时空注意力机制 双向长短期记忆网络

下载PDF 职称材料

基于时域可变形卷积的视频超分辨率重建

9

作者 唐晓天 刘潇 《信息化研究》 2024年第2期41-47,共7页

视频资源随着技术发展在近年来得到了海量增长,人们除了对视频资源本身的需求外,提升视频清晰度的需求也逐渐增多。本文针对当前视频超分辨率重建方法中对视频参考帧与支持帧(相邻帧)之间的信息利用不充分的问题,提出一种基于深度学习... 视频资源随着技术发展在近年来得到了海量增长,人们除了对视频资源本身的需求外,提升视频清晰度的需求也逐渐增多。本文针对当前视频超分辨率重建方法中对视频参考帧与支持帧(相邻帧)之间的信息利用不充分的问题,提出一种基于深度学习的利用可变形卷积提取在不同时间间隔内特征的算法,依此完成超分辨率重建。算法将视频拆分的图像帧分为不同时域组,利用可变形卷积提取各时域组特征,结合可分离的3D卷积对各时域组进行组内特征融合,最后结合时空注意力模块将时域组间的特征融合,通过亚像素卷积完成分辨率的提升。根据在视频超分辨率重建的公开数据集上的实验结果可知,本文提出的算法效果优于VSRnet和VESPCN等其他视频重建算法,能够有效地提升重建视频的清晰度。 展开更多

关键词 视频超分辨率重建 深度学习 可变形卷积 3D卷积 时空注意力机制

下载PDF 职称材料

基于动态时空图卷积的多传感器路网交通流预测 被引量：1

10

作者 孔文翔 杨雪驰 《运筹与模糊学》 2023年第3期2339-2354,共16页

准确的交通预测为城市发展提供规划支持,然而交通流预测精度取决于多重影响因素,道路之间的复杂程度与时间逻辑上的变化规律,现有方法无法合理分析路网交通模式的动态时空相关性,为解决这些问题本文提出一种结合动态自适应(Dynamic Self... 准确的交通预测为城市发展提供规划支持,然而交通流预测精度取决于多重影响因素,道路之间的复杂程度与时间逻辑上的变化规律,现有方法无法合理分析路网交通模式的动态时空相关性,为解决这些问题本文提出一种结合动态自适应(Dynamic Self-adapting)、时空注意力机制(TS At-tention)、基准自适应机制(Benchmark Adaptive Mechanism)与空洞卷积(Dilated Convolution)的切比雪夫图卷积神经网络(GCN)。该模型采用时空注意力机制提取时间与空间动态相关性,结合切比雪夫图卷积神经网络获取交通流数据空间依赖关系,同时,将GCN的输出作为输入,该网络引入空洞卷积扩展感受野范围和提取时间和周期依赖关系,增加残差模块以构建时空残差网络,最后多模块融合预测。 展开更多

关键词 交通流预测 图卷积 动态自适应 时空注意力机制

下载PDF 职称材料

基于时空注意力机制的基坑位移预测方法

11

作者 王玉立 杨昌松 +2 位作者 邱劲 韦俊 吴宏杰 《计算机与现代化》 2023年第5期39-45,共7页

基坑安全管理是大型建筑基坑施工的关键内容,基坑结构位移预测是预防基坑支护事故的重要手段。但是由于基坑局部基坑位移成因复杂,现有的支持向量回归(SVR)、随机森林(RF)方法忽略了基坑位移随空间位移局部减弱、随时间局部位移加快增... 基坑安全管理是大型建筑基坑施工的关键内容,基坑结构位移预测是预防基坑支护事故的重要手段。但是由于基坑局部基坑位移成因复杂,现有的支持向量回归(SVR)、随机森林(RF)方法忽略了基坑位移随空间位移局部减弱、随时间局部位移加快增长的特点,导致预测精度不高。因此,本文提出一种融合时空注意力机制的GA-BP神经网络(A-GABP)方法,通过时空特征准确表示基坑位移预测的时空维度及其特征相关性,提高基坑位移预测的有效性。最后,本文以苏州市某大型工程为实例,对基坑的水平与垂直位移监测数据进行模型训练与评估,按时域特征、空域特征、多阶时域空域特征进行量化分析与研究,并与现有方法进行比较。实验结果表明,本文方法的拟合指数比其他几种方法分别提高29.19%与41.25%,多阶时空域特征相较于单独的时间域或空间域特征分别提高3.08%与1.83%。 展开更多

关键词 时空注意力机制 基坑位移预测 多时域空域特征 BP神经网络

下载PDF 职称材料

基于骨骼及表观特征融合的动作识别方法 被引量：2

12

作者 王洪雁 袁海 《通信学报》 EI CSCD 北大核心 2022年第1期138-148,共11页

针对传统动作识别算法不易区分相似动作的问题,提出一种基于深度关节与手工表观特征融合的动作识别方法。首先将关节空域位置及约束输入具有时空注意力机制的长短期记忆(LSTM)模型中,获取时空加权且高可分的深度关节特征;然后引入热图... 针对传统动作识别算法不易区分相似动作的问题,提出一种基于深度关节与手工表观特征融合的动作识别方法。首先将关节空域位置及约束输入具有时空注意力机制的长短期记忆(LSTM)模型中,获取时空加权且高可分的深度关节特征;然后引入热图定位关键帧及关节,手工提取关键关节周围表观特征以作为深度关节特征有效补充;最后基于双流网络逐帧融合表观特征及深度骨骼特征来实现相似动作有效判别。仿真结果表明,与主流方法相比,所提方法能有效区分相似动作,进而显著提升动作准确率。 展开更多

关键词 动作识别 长短期记忆 时空注意力机制 骨骼关节 表观特征

下载PDF 职称材料

基于并行架构和时空注意力机制的心电分类方法 被引量：1

13

作者 彭向东 潘从成 +2 位作者 柯泽浚 朱华强 周肖 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2022年第10期1912-1923,共12页

为了有效提取心电信号(ECG)的时空特征和提高分类准确性,提出基于深度学习的并行架构心电分类模型.该模型采用基于GCA Block和GTSA Block模块实现多路特征融合的时空注意力机制.使用双向长短时记忆网络和卷积神经网络作为基特征提取器,... 为了有效提取心电信号(ECG)的时空特征和提高分类准确性,提出基于深度学习的并行架构心电分类模型.该模型采用基于GCA Block和GTSA Block模块实现多路特征融合的时空注意力机制.使用双向长短时记忆网络和卷积神经网络作为基特征提取器,分别捕捉心电信号序列数据的前后依赖关系和不同尺度上的局部相关特征,实现对5种不同类型的心电信号的自动分类.在MIT-BIH数据集上验证的结果表明,该方法对5种不同心电信号的总体分类准确率、特异性、敏感度、精确度和Macro-F1分别为99.50%、99.61%、96.20%、98.02%和97.08%.相较于其他心电分类模型,该模型不仅能够有效地缩短网络模型深度,防止模型过拟合,而且能够更准确地提取心电信号的时空特征,获得更好的分类性能. 展开更多

关键词 心电分类 数据不平衡 深度学习 并行架构 时空注意力机制

下载PDF 职称材料

基于注意力机制的视频眼震图分类算法研究 被引量：1

14

作者 周浩军 赵晓丽 +2 位作者 高永彬 李海波 程若然 《激光与光电子学进展》 CSCD 北大核心 2022年第16期370-379,共10页

现有的良性阵发性位置性眩晕视频眼震图分类算法存在以下不足:人工提取的特征主观性和局限性强;眼球的轴向转动特征提取困难;仅能区分正常人群和患者,或对简单的眼震进行分类。针对上述问题,提出了一种基于注意力机制的视频眼震图分类... 现有的良性阵发性位置性眩晕视频眼震图分类算法存在以下不足:人工提取的特征主观性和局限性强;眼球的轴向转动特征提取困难;仅能区分正常人群和患者,或对简单的眼震进行分类。针对上述问题,提出了一种基于注意力机制的视频眼震图分类算法。以轻量级模型三维MobileNet V2为基础网络进行特征提取,在全局细节特征、时空信息丰富的网络低层引入全局时空注意力模块,融合眼球震颤空间信息和帧间时序信息;在网络高层引入时空通道注意力机制,筛选高级语义特征;采用带有类别调制系数的交叉熵损失函数对网络进行训练,有效缓解了类别数量不平衡的问题。在复旦大学附属眼耳鼻喉科医院提供的包括66种类别的视频眼震图数据集上进行了实验,所提算法的分类准确度达到90.08%,各类别的平均精准度、召回率、F1-score分别为90.50%,92.00%,90.40%,表明了所提算法的优越性。 展开更多

关键词 医用光学 图像处理 医学图像处理 视频眼震图分类 时空注意力机制 良性阵发性位置性眩晕 三维卷积神经网络

原文传递

融合时空信息的端对端目标跟踪算法

15

作者 陈凯峰 梁鉴如 《数据通信》 2019年第4期22-26,共5页

视觉目标跟踪是计算机视觉领域的一个基本问题.目前,采用深度卷积方法的相关滤波器(DCF)在目标跟踪领域取得了优秀的成果.然而,大多数现有的跟踪器仅考虑当前帧的外观特征,几乎不考虑目标运动和帧间信息,不能很好地解决诸如遮挡、阴影... 视觉目标跟踪是计算机视觉领域的一个基本问题.目前,采用深度卷积方法的相关滤波器(DCF)在目标跟踪领域取得了优秀的成果.然而,大多数现有的跟踪器仅考虑当前帧的外观特征,几乎不考虑目标运动和帧间信息,不能很好地解决诸如遮挡、阴影和变形等问题.因此,我们将利用连续帧中丰富的运动信息来提高跟踪性能.首先,我们将光流信息,特征提取和相关滤波表示为深度学习网络中的相关特殊层,从而能够进行端对端深度学习网络的训练.然后,提出了一种全新的时空注意力机制,通过时空注意力机制的加权,将预定间隔的历史特征图相融合并与当前的特征图进行自适应聚合.最后,在公共数据进行了大量实验,得到了满意的结果. 展开更多

关键词 DCF滤波器 光流信息 时空注意力机制 端对端

下载PDF 职称材料

基于改进RepVGG和增强时空注意力机制的红外车辆目标检测算法

16

作者 潘博阳 彭为花 《电子信息对抗技术》 2024年第5期77-83,共7页

针对复杂场景下传统红外车辆目标检测算法精度不佳、计算量大等问题,提出基于改进RepVGG(Re-parameterization Visual Geometry Group)和增强时空注意力机制(Enhanced Spatial Temporal Attention Mechanism,ESTAM)的红外车辆目标检测... 针对复杂场景下传统红外车辆目标检测算法精度不佳、计算量大等问题,提出基于改进RepVGG(Re-parameterization Visual Geometry Group)和增强时空注意力机制(Enhanced Spatial Temporal Attention Mechanism,ESTAM)的红外车辆目标检测算法。以YOLOv8n(You Only Look Once v8 nano)模型为基础,在骨干网络和颈部网络引入C2fRepVGG(CSP Bottleneck with 2 Re-parameterization Visual Geometry Group)模块,保证检测精度且减少模型参数量。在骨干网络尾部添加增强时空注意力机制模块,优化红外车辆目标特征表达。使用Wise-IOU损失函数(Wise-IOU Loss)代替CIOU损失函数(Complete IOU Loss),减少训练过程中模型对于低质量锚框产生的有害梯度。实验结果表明,提出的算法在红外车辆数据集中检测精度和计算复杂度相较于其他算法均具有比较优势,该模型的平均检测精度达到94.4%,参数量为2.85×10^(6),浮点计算量为7.4×10^(9),能够对复杂场景下的红外车辆目标实现高精度检测。 展开更多

关键词 红外车辆 目标检测 RepVGG 增强时空注意力机制

下载PDF 职称材料

联合时空注意力的视频显著性预测

17

作者 孙铭会 薛浩 +2 位作者 金玉波 曲卫东 秦贵和 《吉林大学学报（工学版）》 EI CAS CSCD 北大核心 2024年第6期1767-1776,共10页

为了解决视频显著性预测任务中时间与空间特征联合建模的问题,提出联合时空注意力机制(COStA),共同提取时间和空间维度的注意信息,突出特定时间和区域的特征供模型来感知。基于该机制,进一步提出视频显著性预测模型TASED-COStA,对比实... 为了解决视频显著性预测任务中时间与空间特征联合建模的问题,提出联合时空注意力机制(COStA),共同提取时间和空间维度的注意信息,突出特定时间和区域的特征供模型来感知。基于该机制,进一步提出视频显著性预测模型TASED-COStA,对比实验表明:COStA机制能为神经网络模型在CC、NSS与SIM三个评价指标上获得大于8%的性能提升,TASED-COStA模型能有效地建模视频信息中的时间与空间关系,并给出准确的预测结果。 展开更多

关键词 计算机应用 深度学习 计算机视觉 卷积神经网络 视频显著性预测 联合时空注意力机制

原文传递

基于全局时空注意力机制和PCA_3DNet的动作识别方法

18

作者 田秋红 张元奎 +2 位作者 潘豪 李赛伟 施之翔 《浙江理工大学学报（自然科学版）》 2023年第3期310-317,共8页

针对基于3D卷积神经网络的动作识别方法存在参数量过大、无法捕捉时空特征的全局依赖关系等问题,提出了一种基于全局时空注意力机制(Global spatiotemporal attention mechanism, GSTAM)和PCA_3DNet的动作识别方法。该方法引入伪3D卷积... 针对基于3D卷积神经网络的动作识别方法存在参数量过大、无法捕捉时空特征的全局依赖关系等问题,提出了一种基于全局时空注意力机制(Global spatiotemporal attention mechanism, GSTAM)和PCA_3DNet的动作识别方法。该方法引入伪3D卷积结构减少网络参数,在伪3D卷积结构中嵌入通道注意力机制(Channel attention mechanism, CAM)来增强通道特征,并采用全局时空注意力机制来捕捉特征信息的全局依赖关系,加强时空特征的表征能力,从而提高动作识别的准确率。该方法在两个公开数据集UCF101和HMDB51上的识别准确率分别为93.5%和70.5%,模型参数量为13.46 Mi,浮点运算量为8.73 Gi;在准确率、参数量和计算量上的综合表现优于现有的传统方法和深度学习方法。实验结果表明该方法能够获取丰富的时空特征信息,有效提升动作识别的性能。 展开更多

关键词 全局时空注意力机制 PCA_3DNet 通道注意力机制 时空特征 动作识别

下载PDF 职称材料

基于三维时空注意的密集连接视频超分算法 被引量：1

19

作者 何啸林 吴丽君 《网络安全与数据治理》 2023年第2期70-75,共6页

针对视频超分对时间帧间信息以及分层信息的利用不充分,设计了一种具有空间时序注意力机制的密集可变形视频超分辨率重建网络。利用三维卷积来提取经可变形卷积模块对齐后的相邻帧之间的时间序列信息,同时设计具有步幅卷积层的轻量级模... 针对视频超分对时间帧间信息以及分层信息的利用不充分,设计了一种具有空间时序注意力机制的密集可变形视频超分辨率重建网络。利用三维卷积来提取经可变形卷积模块对齐后的相邻帧之间的时间序列信息,同时设计具有步幅卷积层的轻量级模块来提取空间注意力信息。在特征重构阶段引入密集连接,充分利用分层特征信息以实现更好的特征重建。选取公共数据集进行实验验证,结果表明,提出的算法在客观评价指标与视觉对比效果上都有提升。。 展开更多

关键词 视频超分辨重建 三维时空注意力机制 可变形卷积 密集连接

下载PDF 职称材料

基于ViT的视频相似度评估及同源片段定位模型

20

作者 姜家皓 张易诚 +1 位作者 康宇哲 沈炜 《计算机时代》 2023年第10期27-31,共5页

视频版权问题面临巨大挑战。基于视频检索数据集CC_WEB_VIDEO与视频部分拷贝检测数据集VCDB,结合Vision Transformer、注意力机制等技术,对复杂时间、空间视频的相似性进行研究,提出基于ViT的视频细粒度相似性评估模型,使用基于图的视... 视频版权问题面临巨大挑战。基于视频检索数据集CC_WEB_VIDEO与视频部分拷贝检测数据集VCDB,结合Vision Transformer、注意力机制等技术,对复杂时间、空间视频的相似性进行研究,提出基于ViT的视频细粒度相似性评估模型,使用基于图的视频重复片段定位算法定位同源片段,并在实验数据集上验证了该模型的有效性。 展开更多

关键词 视频相似性评估 视频同源片段定位 Vision Transformer 时空分离注意力机制

下载PDF 职称材料