期刊文献+
共找到37篇文章
< 1 2 >
每页显示 20 50 100
基于BiLSTM的滚动轴承故障诊断研究 被引量:38
1
作者 赵志宏 赵敬娇 魏子洋 《振动与冲击》 EI CSCD 北大核心 2021年第1期95-101,共7页
针对滚动轴承的故障诊断,设计并实现了一种基于双向长短期记忆网络(BiLSTM)的诊断模型。将原始振动信号直接作为模型输入,自动提取滚动轴承故障特征,可以对内圈、滚动体、外圈不同故障类型及不同损伤程度的滚动轴承进行故障识别。该模... 针对滚动轴承的故障诊断,设计并实现了一种基于双向长短期记忆网络(BiLSTM)的诊断模型。将原始振动信号直接作为模型输入,自动提取滚动轴承故障特征,可以对内圈、滚动体、外圈不同故障类型及不同损伤程度的滚动轴承进行故障识别。该模型通过BiLSTM神经网络自动提取轴承振动信号的深层信息,弥补了传统故障诊断方法需要人工提取特征的不足,实现端到端的滚动轴承故障智能诊断。滚动轴承实测振动信号实验结果表明故障识别准确率可以达到99.8%以上,该方法具有一定的应用价值。 展开更多
关键词 双向长短期记忆网络 轴承故障诊断 深度学习
下载PDF
基于ALBERT的网络威胁情报命名实体识别 被引量:1
2
作者 周景贤 王曾琪 《陕西科技大学学报》 北大核心 2023年第1期187-195,共9页
网络威胁情报实体识别是网络威胁情报分析的关键,针对传统词嵌入无法表征一词多义而难以有效识别网络威胁情报实体关键信息,同时面临指数级增长的威胁情报,识别模型的效率亟待提高等问题,提出一种基于ALBERT的网络威胁情报命名实体识别... 网络威胁情报实体识别是网络威胁情报分析的关键,针对传统词嵌入无法表征一词多义而难以有效识别网络威胁情报实体关键信息,同时面临指数级增长的威胁情报,识别模型的效率亟待提高等问题,提出一种基于ALBERT的网络威胁情报命名实体识别模型.该模型首先使用ALBERT提取威胁情报动态特征词向量,然后将特征词向量输入到双向长短期记忆网络(BiLSTM)层得到句子中每个词对应的标签,最后在条件随机场(CRF)层修正并以最大概率输出序列标签.识别模型对比实验结果显示,提出模型的F1值为92.21%,明显优于其他模型.在识别准确率相同的情况下,提出模型的时间和资源成本也较低,适用于网络威胁情报领域海量高效的实体识别任务. 展开更多
关键词 网络威胁情报 命名实体识别 BERT ALBERT 双向长短期记忆网络 条件随机场
下载PDF
BiLSTM在JavaScript恶意代码检测中的应用 被引量:1
3
作者 雷天翔 万良 +1 位作者 于淼 褚堃 《计算机系统应用》 2021年第8期266-273,共8页
传统的机器学习方法在检测JavaScript恶意代码时,存在提取特征过程复杂、计算量大、代码被恶意混淆导致难以检测的问题,不利于当前JavaScript恶意代码检测准确性和实时性的要求.基于此,提出一种基于双向长短时神经网络(BiLSTM)的JavaScr... 传统的机器学习方法在检测JavaScript恶意代码时,存在提取特征过程复杂、计算量大、代码被恶意混淆导致难以检测的问题,不利于当前JavaScript恶意代码检测准确性和实时性的要求.基于此,提出一种基于双向长短时神经网络(BiLSTM)的JavaScript恶意代码检测方法.首先,将得到的样本数据经过代码反混淆,数据分词,代码向量化后得到适应于神经网络输入的标准化数据.其次,利用BiLSTM算法对向量化数据进行训练,学习JavaScript恶意代码的抽象特征.最后,利用学习到的特征对代码进行分类.将本文方法与深度学习方法和主流机器学习方法进行比较,结果表明该方法具有较高的准确率和较低的误报率. 展开更多
关键词 恶意代码检测 双向长短时神经网络 JAVASCRIPT脚本 词向量
下载PDF
基于BiLSTM-CRF的商情实体识别模型 被引量:37
4
作者 张应成 杨洋 +3 位作者 蒋瑞 全兵 张利君 任晓雷 《计算机工程》 CAS CSCD 北大核心 2019年第5期308-314,共7页
结合语言模型条件随机场(CRF)和双向长短时记忆(BiLSTM)网络,构建一种BiLSTM-CRF模型,以提取商情文本序列中的招标人、招标代理以及招标编号3类实体信息。将规范化后的招标文本序列按字进行向量化,利用BiLSTM神经网络获取序列化文本的... 结合语言模型条件随机场(CRF)和双向长短时记忆(BiLSTM)网络,构建一种BiLSTM-CRF模型,以提取商情文本序列中的招标人、招标代理以及招标编号3类实体信息。将规范化后的招标文本序列按字进行向量化,利用BiLSTM神经网络获取序列化文本的前向、后向文本特征,并通过CRF提取出双向本文特征中相应的实体。实验结果表明,与传统机器学习算法CRF相比,该模型3类实体的精确率、召回率和F1值平均提升15.21%、12.06%和13.70%。 展开更多
关键词 条件随机场 双向长短时记忆网络 语言模型 命名实体识别 深度学习
下载PDF
融合BERT与标签语义注意力的文本多标签分类方法 被引量:12
5
作者 吕学强 彭郴 +2 位作者 张乐 董志安 游新冬 《计算机应用》 CSCD 北大核心 2022年第1期57-63,共7页
多标签文本分类(MLTC)是自然语言处理(NLP)领域的重要子课题之一。针对多个标签之间存在复杂关联性的问题,提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT。首先,通过对自编码预训练模型进行微调,从而学习输入文本的上下文向量... 多标签文本分类(MLTC)是自然语言处理(NLP)领域的重要子课题之一。针对多个标签之间存在复杂关联性的问题,提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT。首先,通过对自编码预训练模型进行微调,从而学习输入文本的上下文向量表示;然后,使用长短期记忆(LSTM)神经网络将标签进行单独编码;最后,利用注意力机制显性突出文本对每个标签的贡献,以预测多标签序列。实验结果表明,与基于序列生成模型(SGM)算法相比,所提出的方法在AAPD与RCV1-v2公开数据集上,F1值分别提高了2.8个百分点与1.5个百分点。 展开更多
关键词 多标签分类 BERT 标签语义信息 双向长短期记忆神经网络 注意力机制
下载PDF
采用改进CNN-BiLSTM模型的刀具磨损状态监测 被引量:11
6
作者 刘会永 张松 +1 位作者 李剑峰 栾晓娜 《中国机械工程》 EI CAS CSCD 北大核心 2022年第16期1940-1947,1956,共9页
自动化切削加工过程中,准确可靠地监测刀具磨损状态是保证加工质量和加工效率的关键。针对刀具磨损状态相关特征提取繁琐、准确率低及传统的深度学习网络不能全面提取数据隐含信息等问题,提出了一种以卷积神经网络(CNN)和双向长短时记忆... 自动化切削加工过程中,准确可靠地监测刀具磨损状态是保证加工质量和加工效率的关键。针对刀具磨损状态相关特征提取繁琐、准确率低及传统的深度学习网络不能全面提取数据隐含信息等问题,提出了一种以卷积神经网络(CNN)和双向长短时记忆(BiLSTM)网络集成模型为基础并通过在卷积神经网络中添加批量标准化层和采用两个双向长短时记忆网络层的改进模型,该模型通过自动提取小波阈值降噪等预处理和降采样后的切削力、振动和声音信号的空间和时序特征来实现刀具磨损状态监测。将改进模型与CNN-BiLSTM模型及传统的深度学习模型进行对比,发现改进模型在精度和稳定性方面有较大提升。所提方法为准确监测自动化加工过程中刀具磨损状态、提高生产效率和加工质量提供了技术支持。 展开更多
关键词 小波阈值降噪 卷积神经网络 双向长短时记忆网络 刀具磨损状态监测
下载PDF
多特征混合模型文本情感分析方法 被引量:10
7
作者 李文亮 杨秋翔 秦权 《计算机工程与应用》 CSCD 北大核心 2021年第19期205-213,共9页
近年来,深度学习被广泛应用于文本情感分析。其中文本卷积神经网络(TextCNN)最具代表性,但是TxetCNN的语义特征提取存在词嵌入维度语义特征丢失、最大池化算法特征提取不足和文本长期依赖关系丢失的问题。针对以上问题,提出多特征混合模... 近年来,深度学习被广泛应用于文本情感分析。其中文本卷积神经网络(TextCNN)最具代表性,但是TxetCNN的语义特征提取存在词嵌入维度语义特征丢失、最大池化算法特征提取不足和文本长期依赖关系丢失的问题。针对以上问题,提出多特征混合模型(BiLSTM-MFCNN)的文本情感分析方法。该方法使用双向长短记忆网络(BiLSTM)学习文本的长期依赖关系;改进TextCNN的卷积层和池化层提出多特征卷积神经网络(MFCNN),卷积层利用五种不同的卷积算法,分别从句子维度、整个词嵌入维度、单个词嵌入维度、相邻词向量维度和单个词向量维度提取文本的语义特征,池化层利用最大池化算法和平均池化算法,获取文本的情感特征。在中文NLPCCEmotion Classification Challenge和COAE2014数据集、英文Twitter数据集进行对比实验,实验结果表明该混合模型在文本情感分析任务中能够取得更好的效果。 展开更多
关键词 文本情感分析 混合模型 双向长短记忆网络(bilstm) 多特征卷积神经网络(MFCNN)
下载PDF
基于Transformer与BiLSTM的网络流量入侵检测 被引量:6
8
作者 石磊 张吉涛 +2 位作者 高宇飞 卫琳 陶永才 《计算机工程》 CAS CSCD 北大核心 2023年第3期29-36,57,共9页
网络流量入侵检测技术对主机和平台安全起着重要作用。目前常采用机器学习和深度学习技术进行网络流量入侵检测,然而相关数据集的不平衡问题导致模型偏向于学习多数类数据的特征而忽视少数类数据的特征,严重影响了检测准确率。结合SMOT... 网络流量入侵检测技术对主机和平台安全起着重要作用。目前常采用机器学习和深度学习技术进行网络流量入侵检测,然而相关数据集的不平衡问题导致模型偏向于学习多数类数据的特征而忽视少数类数据的特征,严重影响了检测准确率。结合SMOTE算法和生成对抗网络(GAN)构建OSW模型对训练数据进行预处理,通过Wasserstein GAN学习少数类数据分布情况,避免边缘分布问题,构造平衡数据集。建立基于Transformer与双向长短时记忆-深度神经网络(BiLSTM-DNN)的TBD入侵检测模型,使用Transformer中的编码器捕捉全局联系并对输入数据进行初步特征提取,利用BiLSTM网络进行长距离依赖特征提取保留数据的序列化特征,采用DNN进一步提取深层次特征,最终通过Softmax分类器获得分类结果。在NSL_KDD数据集上的实验结果表明,在进行数据平衡处理后TBD模型的二分类和五分类任务检测准确率分别达到90.3%和79.8%,均高于对比的深度神经网络模型以及机器学习算法。 展开更多
关键词 入侵检测 多头注意力 双向长短时记忆网络 深度神经网络 数据平衡处理
下载PDF
基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法 被引量:9
9
作者 董永峰 孙跃华 +2 位作者 高立超 韩鹏 季海鹏 《计算机应用》 CSCD 北大核心 2022年第4期1207-1215,共9页
针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自... 针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解(CEEMDAN)技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆(BiLSTM)神经网络模型和一维卷积神经网络(1DCNN)模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络(SENet)模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。 展开更多
关键词 注意力机制 一维卷积神经网络 双向长短期记忆神经网络 双通道 故障诊断
下载PDF
基于CDBN与BiLSTM的多元退化设备剩余寿命预测 被引量:8
10
作者 牟含笑 郑建飞 +2 位作者 胡昌华 赵瑞星 董青 《航空学报》 EI CAS CSCD 北大核心 2022年第7期301-312,共12页
基于多传感器对复杂工业设备的多元健康状态进行监测,进而实现设备更全面准确的性能评估、剩余寿命预测与健康管理已逐渐推广应用。针对一类监测数据呈现大规模、非线性、高维化等特点的多元退化设备,提出了一种基于连续深度置信网络(CD... 基于多传感器对复杂工业设备的多元健康状态进行监测,进而实现设备更全面准确的性能评估、剩余寿命预测与健康管理已逐渐推广应用。针对一类监测数据呈现大规模、非线性、高维化等特点的多元退化设备,提出了一种基于连续深度置信网络(CDBN)与双向长短期记忆(BiLSTM)网络的剩余寿命预测方法。首先,通过CDBN对监测到的性能退化数据进行分析,提取出反映多元退化设备隐含深层次特征的健康指标;然后,根据构造的健康指标,利用BiLSTM网络挖掘其时序信息和退化趋势,预测多元退化设备的剩余寿命;最后,利用蒙特卡洛仿真技术得到剩余寿命的区间估计,并通过商用模块化航空推进系统数据集验证所提方法的有效性和先进性。结果表明:所提方法能够有效提高此类设备的剩余寿命预测准确度,具有潜在的应用价值。 展开更多
关键词 多元退化设备 剩余寿命预测 健康指标 连续深度置信网络(CDBN) 双向长短期记忆(bilstm)网络
原文传递
基于BERT的初等数学文本命名实体识别方法 被引量:7
11
作者 张毅 王爽胜 +2 位作者 何彬 叶培明 李克强 《计算机应用》 CSCD 北大核心 2022年第2期433-439,共7页
在初等数学领域的命名实体识别(NER)中,针对传统命名实体识别方法中词嵌入无法表征一词多义以及特征提取过程中忽略部分局部特征的问题,提出一种基于BERT的初等数学文本命名实体识别方法——BERT-BiLSTM-IDCNN-CRF。首先,采用BERT进行... 在初等数学领域的命名实体识别(NER)中,针对传统命名实体识别方法中词嵌入无法表征一词多义以及特征提取过程中忽略部分局部特征的问题,提出一种基于BERT的初等数学文本命名实体识别方法——BERT-BiLSTM-IDCNN-CRF。首先,采用BERT进行预训练,然后将训练得到的词向量输入到双向长短期记忆(BiLSTM)网络与迭代膨胀卷积网络(IDCNN)中提取特征,再将两种神经网络输出的特征进行合并,最后经过条件随机场(CRF)修正后进行输出。实验结果表明:BERT-BiLSTM-IDCNN-CRF在初等数学试题数据集上的F1值为93.91%,相较于BiLSTM-CRF基准方法的F1值提升了4.29个百分点,相较于BERT-BiLSTM-CRF方法的F1值提高了1.23个百分点;该方法对线、角、面、数列等实体识别的F1值均高于91%,验证了该方法对初等数学实体识别的有效性。此外,在所提方法的基础上结合注意力机制后,该方法的召回率下降了0.67个百分点,但准确率上升了0.75个百分点,注意力机制的引入对所提方法的识别效果提升不大。 展开更多
关键词 命名实体识别 初等数学 BERT 双向长短期记忆网络 膨胀卷积 注意力机制
下载PDF
基于KPCA和BiLSTM的分解炉出口温度预测 被引量:4
12
作者 孟忍 董学平 甘敏 《合肥工业大学学报(自然科学版)》 CAS 北大核心 2023年第2期169-174,共6页
水泥生产过程中,分解炉出口温度是非常重要的工艺参数,为了应对出口温度变量的多样性,文章提出一种核主成分分析(kernel principal component analysis,KPCA)与双向长短期记忆(bidirectional long short-term memory,BiLSTM)神经网络相... 水泥生产过程中,分解炉出口温度是非常重要的工艺参数,为了应对出口温度变量的多样性,文章提出一种核主成分分析(kernel principal component analysis,KPCA)与双向长短期记忆(bidirectional long short-term memory,BiLSTM)神经网络相结合的温度预测组合模型用来预测分解炉的出口温度。通过KPCA筛选出影响因素的主成分从而达到数据降维目的,将降维后的主成分作为BiLSTM神经网络的输入,分解炉出口温度作为BiLSTM神经网络的输出。经BiLSTM神经网络训练,得到分解炉出口温度预测模型。通过对比验证表明,使用KPCA-BiLSTM相结合的温度预测模型具有较好的预测精度。 展开更多
关键词 水泥分解炉 出口温度 核主成分分析(KPCA) 双向长短期记忆(bilstm)神经网络 降维 预测
下载PDF
融合微气象参数预测的输电线动态增容模型 被引量:6
13
作者 刘志成 董向明 +2 位作者 严昊 李群山 易本顺 《电力系统及其自动化学报》 CSCD 北大核心 2022年第1期56-64,共9页
为了挖掘输电线路的输送潜力和保障输电线路的稳定运行,提出了经验模态分解-双向长短期记忆网络-贝叶斯优化预测模型,从而实现微气象参数递推多步预测。基于预测误差建立高斯分布模型,从预测结果中选择相对保守的气象参数代入热平衡方... 为了挖掘输电线路的输送潜力和保障输电线路的稳定运行,提出了经验模态分解-双向长短期记忆网络-贝叶斯优化预测模型,从而实现微气象参数递推多步预测。基于预测误差建立高斯分布模型,从预测结果中选择相对保守的气象参数代入热平衡方程进行输电线动态容量计算;实现对输电线路所跨越区间中环境最恶劣部分的微气象数据日前预测,以及输电线路动态容量的保守计算。实验仿真结果表明,本文提出的动态增容技术能够在保证输电线路安全可靠的前提下,大幅挖掘现有输电线路的传输潜力,对输电网络的运行有一定的指导作用。 展开更多
关键词 经验模态分解 双向长短期记忆网络 动态增容 微气象 递推多步预测
下载PDF
基于深度学习的教材德目教育文本分类方法
14
作者 陈浩淼 陈军华 《上海师范大学学报(自然科学版中英文)》 2024年第2期172-180,共9页
对上海中小学教材德目教育文本分类进行研究,提出了基于转换器的双向编码表征(BERT)预训练模型、双向长短期记忆(BiLSTM)网络和注意力机制的模型IoMET_BBA.通过合成少数类过采样技术(SMOTE)与探索性数据分析(EDA)技术进行数据增强,使用B... 对上海中小学教材德目教育文本分类进行研究,提出了基于转换器的双向编码表征(BERT)预训练模型、双向长短期记忆(BiLSTM)网络和注意力机制的模型IoMET_BBA.通过合成少数类过采样技术(SMOTE)与探索性数据分析(EDA)技术进行数据增强,使用BERT模型生成富含语境信息的语义向量,通过BiLSTM提取特征,并结合注意力机制来获得词语权重信息,通过全连接层进行分类.对比实验的结果表明,IoMET_BBA的F1度量值达到了86.14%,优于其他模型,可以精确地评估教材德目教育文本. 展开更多
关键词 德目指标 中文文本分类 基于转换器的双向编码表征(BERT)模型 双向长短期记忆(bilstm)网络 注意力机制
下载PDF
一种采用记忆神经网络和曲线形状修正的负荷预测方法
15
作者 张家安 李凤贤 +1 位作者 王铁成 郝妍 《电力工程技术》 北大核心 2024年第1期117-126,共10页
针对分布式电源和新型负荷容量累积造成负荷影响因素多元化和不确定性特性增强的问题,文中提出一种采用记忆神经网络和曲线形状修正的负荷预测方法。在负荷峰值预测中,采用最大信息系数计算负荷峰值与影响因素的非线性相关性,实现对输... 针对分布式电源和新型负荷容量累积造成负荷影响因素多元化和不确定性特性增强的问题,文中提出一种采用记忆神经网络和曲线形状修正的负荷预测方法。在负荷峰值预测中,采用最大信息系数计算负荷峰值与影响因素的非线性相关性,实现对输入特征的筛选;综合考虑负荷峰值序列的长短期自相关性和输入特征与负荷峰值的不同程度相关性,结合Attention机制和双向长短时记忆(bidirectional long short-term memory,BiLSTM)神经网络建立负荷峰值预测模型。在负荷标幺曲线预测中,通过误差倒数法组合相似日和相邻日,建立负荷标幺曲线预测模型;针对预测偏差的非平稳特征,利用自适应噪声的完全集成经验模态分解和BiLSTM网络建立误差预测模型,对曲线形状进行修正。应用中国北方某城市的区域电网负荷数据为算例,验证了所提模型的有效性。 展开更多
关键词 超短期负荷预测 Attention机制 双向长短时记忆(bilstm)神经网络 负荷峰值 负荷标幺曲线 曲线形状修正
下载PDF
短期风电功率预测的深度学习模型 被引量:2
16
作者 辛征 王琦 刘兴然 《计算机时代》 2023年第2期33-36,41,共5页
风电固有的间歇性和不确定性给准确预测风电出力带来了挑战,也给风电并网带来了棘手的问题。本文提出一种用于风电短期预测的卷积神经网络-双向长短期记忆网络(CNN-BiLSTM)混合深度学习模型。首先利用双向长短期记忆网络挖掘双向时间特... 风电固有的间歇性和不确定性给准确预测风电出力带来了挑战,也给风电并网带来了棘手的问题。本文提出一种用于风电短期预测的卷积神经网络-双向长短期记忆网络(CNN-BiLSTM)混合深度学习模型。首先利用双向长短期记忆网络挖掘双向时间特征,然后利用卷积神经网络提取空间特征。最后使用本文模型对某风电场风电功率进行预测。对比结果表明,使用CNN-BiLSTM方法能显著改善预测性能,降低风电功率预测误差。 展开更多
关键词 风电功率 短期预测 双向长短期记忆网络 特征提取
下载PDF
基于改进BiLSTM-RF的短期负荷预测研究
17
作者 唐滨钧 邝先验 吴丹 《自动化仪表》 CAS 2024年第2期59-63,68,共6页
电力负荷的准确预测能有效保持电网运行的稳定性,提高经济效益和社会效益。为了提高负荷预测的精准度,首先利用麻雀搜索算法(SSA)和变分模态分解(VMD)对输入的原始负荷进行模态分解,降低了电力负荷数据随机性与非平稳性;然后利用双向长... 电力负荷的准确预测能有效保持电网运行的稳定性,提高经济效益和社会效益。为了提高负荷预测的精准度,首先利用麻雀搜索算法(SSA)和变分模态分解(VMD)对输入的原始负荷进行模态分解,降低了电力负荷数据随机性与非平稳性;然后利用双向长短期记忆-随机森林(BiLSTM-RF)组合模型对分解后的子模态进行特征提取和预测。对某地区公开数据的性能验证与模型对比分析结果表明,改进的BiLSTM-RF(+BiLSTM-RF)组合模型在决定系数(R^(2))、均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分误差(MAPE)这四个预测精度指标方面分别达到了0.973、300.31、134.91、0.037。与传统的支持向量机(SVM)、长短期记忆(LSTM)网络、门控循环单元(GRU)等单一预测方法,以及未改进的BiLSTM-RF组合预测方法相比,+BiLSTM-RF组合模型有更好的预测表现。 展开更多
关键词 短期负荷预测 麻雀搜索算法 变分模态分解 双向长短期记忆网络 随机森林 注意力机制 滑窗宽度
下载PDF
基于SSAE-IARO-BiLSTM的工业过程故障诊断研究
18
作者 张瑞成 孙伟良 梁卫征 《振动与冲击》 EI CSCD 北大核心 2024年第15期244-250,260,共8页
针对工业过程故障诊断精度低的问题,提出了一种基于栈式稀疏自编码网络(stacked sparse auto-encoder network, SSAE)和改进人工兔算法优化双向长短时记忆神经网络(improved artificial rabbit algorithm optimized bidirectional long ... 针对工业过程故障诊断精度低的问题,提出了一种基于栈式稀疏自编码网络(stacked sparse auto-encoder network, SSAE)和改进人工兔算法优化双向长短时记忆神经网络(improved artificial rabbit algorithm optimized bidirectional long short-term memory neural network, IARO-BiLSTM)的故障诊断方法。首先,利用SSAE网络强大的特征提取能力,实现对原始数据进行降维处理;其次,引入Circle混沌映射以达到丰富种群数量的目的,提出权重系数和Levy飞行机制改进人工兔算法的位置更新公式,提高人工兔算法的寻优能力,进而对BiLSTM网络的参数进行优化。最后,利用优化后的BiLSTM网络实现对故障的识别和分类。通过选取多组数据集进行验证,结果表明,基于SSAE-IARO-BiLSTM故障诊断方法能够准确地对故障进行识别和分类,且诊断准确率可达98%以上。 展开更多
关键词 故障诊断 人工兔算法(IARO) 双向长短时记忆网络(bilstm) 栈式稀疏自编码器(SSAE)
下载PDF
基于MacBERT与对抗训练的机器阅读理解模型
19
作者 周昭辰 方清茂 +2 位作者 吴晓红 胡平 何小海 《计算机工程》 CAS CSCD 北大核心 2024年第5期41-50,共10页
机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测... 机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(Mac BERT)与对抗训练(AT)的机器阅读理解模型。首先利用Mac BERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(Bi LSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQu ADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上与基线模型进行对比,结果验证了该模型具有更强的鲁棒性和泛化能力,在输入的问题存在噪声的情况下性能更好。 展开更多
关键词 机器阅读理解 对抗训练 预训练模型 掩码校正的来自Transformer的双向编码器表示 双向长短期记忆网络
下载PDF
基于交互注意力机制的心理咨询文本情感分类模型
20
作者 汪雨晴 朱广丽 +2 位作者 段文杰 李书羽 周若彤 《计算机应用》 CSCD 北大核心 2024年第8期2393-2399,共7页
心理咨询场景下的情感分类旨在获得咨询者话语的情感倾向,为建立心理咨询AI助手提供支持。现有的方法利用语境信息获取文本情感倾向,但未考虑对话记录中当前句与前向近邻句之间的情感传递。针对这一问题,提出一种基于交互注意力(AOA)机... 心理咨询场景下的情感分类旨在获得咨询者话语的情感倾向,为建立心理咨询AI助手提供支持。现有的方法利用语境信息获取文本情感倾向,但未考虑对话记录中当前句与前向近邻句之间的情感传递。针对这一问题,提出一种基于交互注意力(AOA)机制的心理咨询文本情感分类模型,根据时序对历史情感词分配权重,进而提高分类准确率。利用构建的心理健康情感词典分别提取对话双方的历史情感词序列,再将当前句和历史情感词序列输入到双向长短期记忆(BiLSTM)网络获取对应的特征向量,并利用艾宾浩斯遗忘曲线对历史情感词序列分配权重。通过AOA机制获得惯性特征和交互特征,并结合文本特征输入到分类层计算情感倾向概率。在公开数据集Emotional First Aid Dataset上的实验结果表明,相较于Caps-DGCN(Capsule network and Directional Graph Convolutional Network)模型,所提模型的F1值提高了1.55%。可见,所提模型可以有效提升心理咨询文本的情感分类效果。 展开更多
关键词 心理咨询 心理健康情感词典 艾宾浩斯遗忘曲线 交互注意力机制 双向长短期记忆网络
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部