基于改进胶囊网络的文本分类 被引量：10

1

作者 尹春勇 何苗 《计算机应用》 CSCD 北大核心 2020年第9期2525-2530,共6页

针对卷积神经网络(CNN)中的池化操作会丢失部分特征信息和胶囊网络(CapsNet)分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用sof... 针对卷积神经网络(CNN)中的池化操作会丢失部分特征信息和胶囊网络(CapsNet)分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用softmax分类器进行分类。在文本分类中,所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明,改进CapsNet模型更适用于文本分类。 展开更多

关键词 文本分类 卷积神经网络 胶囊网络 动态路由 特征提取

下载PDF 职称材料

基于并行混合网络的短文本情感分析模型

2

作者 任楚岚 仇全涛 《计算机仿真》 2024年第6期570-577,共8页

针对目前在短文本语义情感分析过程中会存在的传统词嵌入对情感语义表达不充分,特征挖掘不全面,准确率较低等问题,提出一种基于多头注意力机制的MACGRU并行混合网络模型。首先,根据胶囊网络(CapsNet)与双向门限循环单元网络(BiGRU)不同... 针对目前在短文本语义情感分析过程中会存在的传统词嵌入对情感语义表达不充分,特征挖掘不全面,准确率较低等问题,提出一种基于多头注意力机制的MACGRU并行混合网络模型。首先,根据胶囊网络(CapsNet)与双向门限循环单元网络(BiGRU)不同的特点选择BERT词嵌入与Glove词嵌入对短文本做向量化表示,并对Glove词嵌入改进加入位置嵌入和词性嵌入,使短文本在词嵌入阶段获取更丰富的短文本信息;其次,将BERT训练的词向量和Glove训练的词向量分别输入CapsNet和BiGRU中提取短文本局部语义信息和短文本的上下文语义信息;然后,在CapsNet和BiGRU的特征输出后都加入多头注意力机制对提取到的情感特征进行加权处理;最后,将多头注意力机制加权后的局部特征和上下文语义特征进行融合并通过softmax函数进行情感分类输出。上述模型在公开数据集COVID-19上进行实验验证,其模型的准确率,精准率,召回率,F1指标都达到了95%以上,相较于其它基准模型性能更优,也充分证明了该模型的优越性。 展开更多

关键词 语义情感分析 短文本 胶囊网络 双向门限循环单元 多头注意力机制 并行混合网络

下载PDF 职称材料

多阶段注意力胶囊网络的图像分类

3

作者 宋燕 王勇 《自动化学报》 EI CAS CSCD 北大核心 2024年第9期1804-1817,共14页

针对传统的胶囊网络(Capsule network,CapsNet)特征提取不充分的问题,提出一种图像分类的多阶段注意力胶囊网络模型.首先,在卷积层对低层特征和高层特征分别采用注意力(Spatial attention,SA)和通道注意力(Channel attention,CA)来提取... 针对传统的胶囊网络(Capsule network,CapsNet)特征提取不充分的问题,提出一种图像分类的多阶段注意力胶囊网络模型.首先,在卷积层对低层特征和高层特征分别采用注意力(Spatial attention,SA)和通道注意力(Channel attention,CA)来提取有效特征;然后,提出基于向量的注意力(Vector attention,VA)机制作用于动态路由层,增加对重要胶囊的关注,进而提高低层胶囊对高层胶囊预测的准确性;最后,在五个公共数据集上进行图像分类的对比实验.结果表明,所提出的CapsNet模型在分类精度和鲁棒性上优于其他胶囊网络模型,在仿射变换图像重构方面也表现良好. 展开更多

关键词 图像分类 胶囊网络 注意力机制 多阶段 鲁棒性

下载PDF 职称材料

基于ACapsGRU的短时交通流预测研究 被引量：5

4

作者 张玺君 陶冶 +1 位作者 张冠男 余光杰 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2022年第4期51-56,共6页

针对交通流预测中的时空相关性进行研究.首先,根据城市交通路网建立速度矩阵,将每个时刻的速度矩阵输入胶囊网络进行空间特征的提取;其次,利用注意力机制结合近期交通流数据生成注意力权重;最后,将带有注意力权重的数据输入到门控循环... 针对交通流预测中的时空相关性进行研究.首先,根据城市交通路网建立速度矩阵,将每个时刻的速度矩阵输入胶囊网络进行空间特征的提取;其次,利用注意力机制结合近期交通流数据生成注意力权重;最后,将带有注意力权重的数据输入到门控循环单元学习交通流的时间特征,进行组合模型的短时交通流预测.使用西安市的交通流数据进行验证,结果表明:提出的ACapsGRU组合模型有更好的预测结果,相比于卷积神经网络、胶囊网络及CapsNet-NLSTM等模型预测结果,在平均绝对误差(MAE)方面分别优化了17.08%,13.85%和4.78%. 展开更多

关键词 短时交通流预测 注意力机制 胶囊网络 门控循环单元 组合模型

原文传递

基于随机域名检测和主动防御的用户站安全防护 被引量：1

5

作者 任小康 向勇 +2 位作者 李中伟 常星 常昱 《计算机系统应用》 2023年第3期316-321,共6页

电力监控系统是电力行业最重要的生产管理系统.作为电力监控系统的重要组成部分,缺少电网约束力的用户站将会成为网络攻击的重要目标.为及时感知用户站侧网络攻击事件,提出了一种结合用户站侧随机域名实时检测和主动防御的方法.使用胶... 电力监控系统是电力行业最重要的生产管理系统.作为电力监控系统的重要组成部分,缺少电网约束力的用户站将会成为网络攻击的重要目标.为及时感知用户站侧网络攻击事件,提出了一种结合用户站侧随机域名实时检测和主动防御的方法.使用胶囊网络(CapsNet)结合长短期记忆网络(LSTM)对流量数据中提取的域名进行二分类,当检测到随机域名时,通过远程终端协议(Telnet)对路由器和交换机下发指令更新其安全策略或关闭路由器和交换机的业务接口以阻断网络攻击.实验结果表明,使用CapsNet结合LSTM分类算法在随机域名检测中准确率达到99.16%,召回率达到98%,通过Telnet协议可以联动路由器和交换机在不中断业务的情况下做出主动防御. 展开更多

关键词 用户站 随机域名检测 胶囊网络 主动防御 长短期记忆网络

下载PDF 职称材料

多尺度混合注意力胶囊网络的海洋鱼类识别 被引量：3

6

作者 许学斌 刘燊莲 +1 位作者 路龙宾 刘晨光 《光电子．激光》 CAS CSCD 北大核心 2022年第11期1158-1164,共7页

针对胶囊网络(capsule network,CapsNet)特征提取结构单一和数据处理中参数量过大的问题,提出多尺度混合注意力胶囊网络模型。首先,在网络初始端添加不同尺度的卷积核来多角度提取特征,并引入混合注意力机制,通过聚焦更具分辨性的特征... 针对胶囊网络(capsule network,CapsNet)特征提取结构单一和数据处理中参数量过大的问题,提出多尺度混合注意力胶囊网络模型。首先,在网络初始端添加不同尺度的卷积核来多角度提取特征,并引入混合注意力机制,通过聚焦更具分辨性的特征区域来降低复杂背景干扰。其次,采用局部剪枝算法优化动态路由,减少参数量,缩短模型训练时间。最后,在海洋鱼类数据集F4K(Fish4Knowledge)上验证,结果表明,与传统残差网络(residual network50,ResNet-50)、双线性网络(bilinear convolutional neural network,B-CNN)、分层精简双线性注意力网络(spatial transformation network and hierarchical compact bilinear pooling,STN-H-CBP)以及CapsNet模型相比,该算法识别精度为98.65%,比ResNet-50模型提升了5.92%;训练时间为2.2 h,相比于CapsNet缩短了近40 min,验证了该算法的可行性。 展开更多

关键词 胶囊网络(capsnet) 图像识别 动态路由算法 注意力机制 多卷积核

原文传递

基于CapsNet的汉字字形表征模型 被引量：4

7

作者 谢海闻 叶东毅 陈昭炯 《模式识别与人工智能》 EI CSCD 北大核心 2019年第2期169-176,共8页

提出基于胶囊神经网络(CapsNet)的汉字字形表征模型,通过表征汉字字形中的部件实现汉字字形的表征.首先,对任一汉字字形生成所有部件类别的表征向量.然后,根据部件存在概率,利用基于欧氏距离的离群点检测,选取相应的部件表征向量.最后,... 提出基于胶囊神经网络(CapsNet)的汉字字形表征模型,通过表征汉字字形中的部件实现汉字字形的表征.首先,对任一汉字字形生成所有部件类别的表征向量.然后,根据部件存在概率,利用基于欧氏距离的离群点检测,选取相应的部件表征向量.最后,由选出的部件表征向量组成该汉字的字形表征.实验表明,文中模型在仅经过部件字形训练的情况下,即可有效识别汉字部件,同时自动生成汉字字形的有效表征. 展开更多

关键词 汉字字形 胶囊神经网络(capsnet) 表征模型 部件识别 汉字字形重构

下载PDF 职称材料

改进的基于多路径特征的胶囊网络

8

作者 徐清海 丁世飞 +2 位作者 孙统风 张健 郭丽丽 《计算机应用》 CSCD 北大核心 2023年第5期1330-1335,共6页

针对胶囊网络(CapsNet)在复杂数据集上的分类效果差,而且在路由过程中参数数量过大等问题,提出一种基于多路径特征的胶囊网络(MCNet),包含新的胶囊特征提取器和新的胶囊池化方法。该胶囊特征提取器从多个不同路径中并行地提取不同层次... 针对胶囊网络(CapsNet)在复杂数据集上的分类效果差,而且在路由过程中参数数量过大等问题,提出一种基于多路径特征的胶囊网络(MCNet),包含新的胶囊特征提取器和新的胶囊池化方法。该胶囊特征提取器从多个不同路径中并行地提取不同层次、不同位置的特征,然后将特征编码为包含更多语义信息的胶囊特征;胶囊池化方法则在胶囊特征图的每个位置选取最活跃的胶囊,用少量的胶囊表示有效的胶囊特征。在4个数据集(CIFAR-10、SVHN、Fashion-MNIST、MNIST)上与CapsNet等模型进行了对比。实验结果显示,MCNet在CIFAR-10数据集上的分类准确率为79.27%,可训练的参数数量为6.25×10^(6),与CapsNet相比,MCNet的分类准确率提升了8.7%,参数数量减少了46.8%。MCNet能够有效提升分类准确率,同时减少可训练的参数数量。 展开更多

关键词 胶囊网络 深度学习 动态路由 胶囊池化 反卷积重构

下载PDF 职称材料

面向复杂图像分类的共享转换矩阵胶囊网络

9

作者 文凯 薛晓 季娟 《计算机应用》 CSCD 北大核心 2023年第11期3411-3417,共7页

针对胶囊网络(CapsNet)在处理含有背景噪声信息的复杂图像时分类效果不佳且计算开销大的问题,提出一种基于注意力机制和权值共享的改进胶囊网络模型——共享转换矩阵胶囊网络(STM-CapsNet)。该模型主要包括以下改进:1)在特征提取层中引... 针对胶囊网络(CapsNet)在处理含有背景噪声信息的复杂图像时分类效果不佳且计算开销大的问题,提出一种基于注意力机制和权值共享的改进胶囊网络模型——共享转换矩阵胶囊网络(STM-CapsNet)。该模型主要包括以下改进:1)在特征提取层中引入注意力模块,使低层胶囊能够聚焦于与分类任务相关的实体特征;2)将空间位置接近的低层胶囊分为若干组,每组内的低层胶囊通过共享转换矩阵映射到高层胶囊,降低计算开销,提高模型鲁棒性;3)在间隔损失与重构损失的基础上加入L2正则化项,防止模型过拟合。在CIFAR10、SVHN(Street View House Number)、FashionMNIST复杂图像数据集上的实验结果表明,各改进均能有效提升模型性能;当迭代次数为3,共享转换矩阵数为5时,STM-CapsNet模型的平均准确率分别为85.26%、93.17%、94.96%,平均参数量为8.29 MB,比基线模型的综合性能更优。 展开更多

关键词 胶囊网络 图像分类 注意力机制 共享转换矩阵 深度学习

下载PDF 职称材料

基于BGRU-CapsNet的情感分析算法研究 被引量：1

10

作者 应伟志 于青 《天津理工大学学报》 2021年第5期7-12,共6页

提出了一种基于双向门控循环神经网络(bidirectional gated recurrent neural network,BGRU)和胶囊网络(capsule network,CapsNet)的混合神经网络情感分析模型。其目的是对内在的部分-整体关系进行编码,探索语法和句法特征,全面丰富表... 提出了一种基于双向门控循环神经网络(bidirectional gated recurrent neural network,BGRU)和胶囊网络(capsule network,CapsNet)的混合神经网络情感分析模型。其目的是对内在的部分-整体关系进行编码,探索语法和句法特征,全面丰富表征。每个句子的语义由BGRU表示,缩短了相互依赖特征之间的距离。设计了基于动态路由的CapsNet来提取更丰富的文本信息,提高了文本的表达能力。实验证明,将BGRU和CapsNet相结合可以提高情感分析的性能。 展开更多

关键词 双向门控循环神经网络(bidirectional gated recurrent neural network BGRU) 情感分析 胶囊网络(capsule network capsnet) 动态路由算法

下载PDF 职称材料

基于胶囊网络的对抗判别域适应算法 被引量：3

11

作者 戴宏 盛立杰 苗启广 《计算机研究与发展》 EI CSCD 北大核心 2021年第9期1997-2012,共16页

关于域适应算法的研究显示了对抗性学习填补源域和目标域间差异的有效性,但仍存在其局限性,即仅从2个域抽取的样本不足以保证大部分潜在空间的域不变性.注意到胶囊网络(capsule network,CapsNet)在捕获样本的表征不变性上具有较强的能力... 关于域适应算法的研究显示了对抗性学习填补源域和目标域间差异的有效性,但仍存在其局限性,即仅从2个域抽取的样本不足以保证大部分潜在空间的域不变性.注意到胶囊网络(capsule network,CapsNet)在捕获样本的表征不变性上具有较强的能力,通过结合二者得到了一种新的域适应学习算法.首先,提出了胶囊层卷积算法,并结合残差结构,使得训练更深的胶囊网络成为可能.实验表明,这种新的胶囊网络架构能够在捕获浅层特征时取得更佳的效果.其次,传统的对抗判别域适应算法使用的卷积基容易不加分辨地模糊源域与目标域的界限,进而造成判别效果的下降.因此,在VAE-GAN(variational auto-encoder,generative adversarial networks)的启发下,通过引入重建网络作为强约束,巧妙地利用了胶囊网络可调整为自编码器的特性,使得对抗判别域适应网络能够在卷积基进行迁移时,克服传统对抗判别域适应算法易发生模式崩塌的固有缺陷,保证判别器对源域与目标域内样本共性表征的敏感度.实验表明,该方法可以在不同复杂程度的域适应任务中取得较好的性能,并在关键标准数据集上取得了最先进的成果. 展开更多

关键词 胶囊网络 对抗判别网络 域适应 生成对抗网络 自编码器

下载PDF 职称材料

基于刑事Electra的编-解码关系抽取模型 被引量：1

12

作者 王小鹏 孙媛媛 林鸿飞 《计算机应用》 CSCD 北大核心 2022年第1期87-93,共7页

针对司法领域关系抽取任务中模型对句子上下文理解不充分、重叠关系识别能力弱的问题,提出了一种基于刑事Electra(CriElectra)的编-解码关系抽取模型。首先,参考中文Electra的训练方法,在1000000份刑事数据集上训练得到了CriElectra;然... 针对司法领域关系抽取任务中模型对句子上下文理解不充分、重叠关系识别能力弱的问题,提出了一种基于刑事Electra(CriElectra)的编-解码关系抽取模型。首先,参考中文Electra的训练方法,在1000000份刑事数据集上训练得到了CriElectra;然后,在双向长短期记忆网络(BiLSTM)模型上加入CriElectra的词特征进行司法文本的特征提取;最后,通过胶囊网络(CapsNet)对特征进行矢量聚类,从而实现实体间的关系抽取。实验结果表明,在自构建的故意伤害罪关系数据集上,与基于中文Electra的这一预训练语言模型相比,CriElectra在司法文本上的重训过程使得学习到的词向量蕴含更丰富的领域信息,且F1值提升了1.93个百分点;与基于池化聚类的模型相比,CapsNet通过矢量运算能够有效防止空间信息丢失,并提高重叠关系的识别能力,使得F1值提升了3.53个百分点。 展开更多

关键词 司法领域 关系抽取 预训练语言模型 双向长短期记忆网络 胶囊网络

下载PDF 职称材料

基于胶囊网络的动态路由研究与改进 被引量：1

13

作者 陈珊 孙仁诚 +1 位作者 邵峰晶 隋毅 《计算机工程》 CAS CSCD 北大核心 2022年第5期208-214,共7页

胶囊网络具有弥补卷积神经网络空间信息丢失和旋转不变性差的优点,已被广泛应用于图像分类、目标检测以及文本检测等多个领域,但胶囊网络仍存在参数量大且分类精确度低的问题。提出基于点乘注意力图卷积路由的胶囊网络分类模型。在同级... 胶囊网络具有弥补卷积神经网络空间信息丢失和旋转不变性差的优点,已被广泛应用于图像分类、目标检测以及文本检测等多个领域,但胶囊网络仍存在参数量大且分类精确度低的问题。提出基于点乘注意力图卷积路由的胶囊网络分类模型。在同级胶囊之间构建连通图,通过注意力机制获取胶囊间的依赖关系,利用影响因素大的预测胶囊进行特征聚类,改变使用迭代更新高低胶囊层间耦合系数的动态路由方式,降低参数量并提升模型的分类准确率。此外,在特征提取部分加入残差网络提取更高维的特征以优化胶囊质量,在提升模型特征表达能力的同时可抑制模型过大。实验结果表明,在参数量小于多个胶囊网络变体的情况下,该模型在MNIST、FashionMNIST、CIFAR10和SVHN数据集上的精度分别达到99.74%、95.02%、91.78%和95.65%,均高于MS-CapsNet、TextCaps、AR CapsNet、FSc-CapsNet、DA-CapsNet等对比模型。 展开更多

关键词 胶囊网络 动态路由 点乘注意力机制 图卷积 图像分类

下载PDF 职称材料

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类 被引量：1

14

作者 陈立潮 张雷 +1 位作者 曹建芳 张睿 《计算机应用》 CSCD 北大核心 2020年第10期2881-2889,共9页

为了充分利用图像信息以提高现有交通监控下车型分类的效果,在胶囊网络的基础上增加梯度直方图卷积(HOG-C)特征提取方法,提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先,使用梯度统计特征提取层对图像中的梯度信息进行统计,构建... 为了充分利用图像信息以提高现有交通监控下车型分类的效果,在胶囊网络的基础上增加梯度直方图卷积(HOG-C)特征提取方法,提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先,使用梯度统计特征提取层对图像中的梯度信息进行统计,构建方向梯度直方图(HOG)特征图;其次,使用卷积层提取出图像的颜色信息,把提取出的颜色信息与HOG特征图融合构成HOG-C特征图;最后,输入卷积层提取HOG-C特征图的抽象特征,并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装,使用动态路由算法实现车型分类。在BITVehicle数据集上对该模型和其他相关模型进行的对比实验中,该模型得到98.17%的准确率、97.98%的平均精确率均值(MAP)、98.42%的平均召回率均值(MAR)和98.20%的综合评价指标。实验结果表明,该模型在交通监控下的车型分类上具有更好的效果。 展开更多

关键词 交通监控 胶囊网络 方向梯度直方图 车型分类 卷积神经网络

下载PDF 职称材料

基于深度学习的帕金森病诊断

15

作者 谭言丹 赵阳洋 赵光财 《计算机工程与设计》 北大核心 2021年第8期2334-2340,共7页

为实现对帕金森病进行自动诊断,对基于Spiral和Meander手绘图的CNN和CapsNet的PD诊断方案进行研究。图像预处理过程保留了色彩信息,模型可以学习笔划压力、速度等特征。实验结果表明,CapsNet和CNN分别是基于Spiral和Meander的最优诊断... 为实现对帕金森病进行自动诊断,对基于Spiral和Meander手绘图的CNN和CapsNet的PD诊断方案进行研究。图像预处理过程保留了色彩信息,模型可以学习笔划压力、速度等特征。实验结果表明,CapsNet和CNN分别是基于Spiral和Meander的最优诊断方案。研究结果表明,Spiral具备比Meander更多的差异来诊断PD,CapsNet是基于Spiral的最佳方案;保留色彩信息的图像更有利于基于手绘图诊断PD,所实现结果(Acc=95.7%)优于先前最优报道(Acc=82.7%)。 展开更多

关键词 帕金森病 胶囊网络(capsnet) 卷积神经网络(CNN) 深度学习 手绘图

下载PDF 职称材料

基于胶囊网络的三维模型识别 被引量：1

16

作者 曹小威 曲志坚 +1 位作者 徐玲玲 刘晓红 《计算机应用》 CSCD 北大核心 2020年第5期1309-1314,共6页

为解决传统卷积神经网络中大量池化层的引入导致特征信息丢失的问题,依据胶囊网络(CapsNet)使用向量神经元保存特征空间信息的特性,提出了一种用以识别三维模型的网络模型3DSPNCapsNet。使用新的网络结构,提取更具代表性的特征的同时降... 为解决传统卷积神经网络中大量池化层的引入导致特征信息丢失的问题,依据胶囊网络(CapsNet)使用向量神经元保存特征空间信息的特性,提出了一种用以识别三维模型的网络模型3DSPNCapsNet。使用新的网络结构,提取更具代表性的特征的同时降低了模型复杂度,并提出基于动态路由(DR)算法的DRL算法来优化胶囊权重的迭代计算过程。在ModelNet10上的实验结果表明,相比3DCapsNet以及VoxNet,该网络取得了更好的识别效果,在原始测试集上3DSPNCapsNet的平均识别准确率达到95%,同时验证了该网络对旋转三维模型的识别能力。适当扩展旋转训练集之后,所提网络对各角度旋转模型的平均识别率达到81%。实验结果表明,3DSPNCapsNet对三维模型及其旋转具有良好的识别能力。 展开更多

关键词 胶囊网络 动态路由算法 池化 三维模型识别 旋转

下载PDF 职称材料