期刊文献+
共找到11篇文章
< 1 >
每页显示 20 50 100
融合BERT与标签语义注意力的文本多标签分类方法 被引量:14
1
作者 吕学强 彭郴 +2 位作者 张乐 董志安 游新冬 《计算机应用》 CSCD 北大核心 2022年第1期57-63,共7页
多标签文本分类(MLTC)是自然语言处理(NLP)领域的重要子课题之一。针对多个标签之间存在复杂关联性的问题,提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT。首先,通过对自编码预训练模型进行微调,从而学习输入文本的上下文向量... 多标签文本分类(MLTC)是自然语言处理(NLP)领域的重要子课题之一。针对多个标签之间存在复杂关联性的问题,提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT。首先,通过对自编码预训练模型进行微调,从而学习输入文本的上下文向量表示;然后,使用长短期记忆(LSTM)神经网络将标签进行单独编码;最后,利用注意力机制显性突出文本对每个标签的贡献,以预测多标签序列。实验结果表明,与基于序列生成模型(SGM)算法相比,所提出的方法在AAPD与RCV1-v2公开数据集上,F1值分别提高了2.8个百分点与1.5个百分点。 展开更多
关键词 多标签分类 BERT 标签语义信息 双向长短期记忆神经网络 注意力机制
下载PDF
基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法 被引量:9
2
作者 董永峰 孙跃华 +2 位作者 高立超 韩鹏 季海鹏 《计算机应用》 CSCD 北大核心 2022年第4期1207-1215,共9页
针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自... 针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解(CEEMDAN)技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆(BiLSTM)神经网络模型和一维卷积神经网络(1DCNN)模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络(SENet)模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。 展开更多
关键词 注意力机制 一维卷积神经网络 双向长短期记忆神经网络 双通道 故障诊断
下载PDF
动态迁移实体块信息的跨领域中文实体识别模型 被引量:8
3
作者 吴炳潮 邓成龙 +6 位作者 关贝 陈晓霖 昝道广 常志军 肖尊严 曲大成 王永吉 《软件学报》 EI CSCD 北大核心 2022年第10期3776-3792,共17页
由于中文文本之间没有分隔符,难以识别中文命名实体的边界.此外,在垂直领域中难以获取充足的标记完整的语料,例如医疗领域和金融领域等垂直领域.为解决上述不足,提出一种动态迁移实体块信息的跨领域中文实体识别模型(TES-NER),将跨领域... 由于中文文本之间没有分隔符,难以识别中文命名实体的边界.此外,在垂直领域中难以获取充足的标记完整的语料,例如医疗领域和金融领域等垂直领域.为解决上述不足,提出一种动态迁移实体块信息的跨领域中文实体识别模型(TES-NER),将跨领域共享的实体块信息(entity span)通过基于门机制(gate mechanism)的动态融合层,从语料充足的通用领域(源领域)动态迁移到垂直领域(目标领域)上的中文命名实体模型,其中,实体块信息用于表示中文命名实体的范围.TES-NER模型首先通过双向长短期记忆神经网络(BiLSTM)和全连接网络(FCN)构建跨领域共享实体块识别模块,用于识别跨领域共享的实体块信息以确定中文命名实体的边界;然后,通过独立的基于字的双向长短期记忆神经网络和条件随机场(BiLSTM-CRF)构建中文命名实体识别模块,用于识别领域指定的中文命名实体;最后构建动态融合层,将实体块识别模块抽取得到的跨领域共享实体块信息通过门机制动态决定迁移到领域指定的命名实体识别模型上的量.设置通用领域(源领域)数据集为标记语料充足的新闻领域数据集(MSRA),垂直领域(目标领域)数据集为混合领域(OntoNotes 5.0)、金融领域(Resume)和医学领域(CCKS 2017)这3个数据集,其中,混合领域数据集(OntoNotes 5.0)是融合了6个不同垂直领域的数据集.实验结果表明,提出的模型在OntoNotes 5.0、Resume和CCKS 2017这3个垂直领域数据集上的F1值相比于双向长短期记忆和条件随机场模型(BiLSTM-CRF)分别高出2.18%、1.68%和0.99%. 展开更多
关键词 命名实体识别 迁移学习 跨领域 动态融合 双向长短期记忆神经网络
下载PDF
结合Word2vec和BiLSTM的民航非计划事件分析方法 被引量:1
4
作者 王捷 周迪 +1 位作者 左洪福 黄维 《合肥工业大学学报(自然科学版)》 CAS 北大核心 2024年第7期917-924,共8页
安全是民航业的核心主题。针对目前民航非计划事件分析严重依赖专家经验及分析效率低下的问题,文章提出一种结合Word2vec和双向长短期记忆(bidirectional long short-term memory,BiLSTM)神经网络模型的民航非计划事件分析方法。首先采... 安全是民航业的核心主题。针对目前民航非计划事件分析严重依赖专家经验及分析效率低下的问题,文章提出一种结合Word2vec和双向长短期记忆(bidirectional long short-term memory,BiLSTM)神经网络模型的民航非计划事件分析方法。首先采用Word2vec模型针对事件文本语料进行词向量训练,缩小空间向量维度;然后通过BiLSTM模型自动提取特征,获取事件文本的完整序列信息和上下文特征向量;最后采用softmax函数对民航非计划事件进行分类。实验结果表明,所提出的方法分类效果更好,能达到更优的准确率和F 1值,对不平衡数据样本同样具有较稳定的分类性能,证明了该方法在民航非计划事件分析上的适用性和有效性。 展开更多
关键词 民航安全 文本分析 非计划事件 Word2vec 双向长短期记忆(bilstm)神经网络
下载PDF
基于KPCA和BiLSTM的分解炉出口温度预测 被引量:4
5
作者 孟忍 董学平 甘敏 《合肥工业大学学报(自然科学版)》 CAS 北大核心 2023年第2期169-174,共6页
水泥生产过程中,分解炉出口温度是非常重要的工艺参数,为了应对出口温度变量的多样性,文章提出一种核主成分分析(kernel principal component analysis,KPCA)与双向长短期记忆(bidirectional long short-term memory,BiLSTM)神经网络相... 水泥生产过程中,分解炉出口温度是非常重要的工艺参数,为了应对出口温度变量的多样性,文章提出一种核主成分分析(kernel principal component analysis,KPCA)与双向长短期记忆(bidirectional long short-term memory,BiLSTM)神经网络相结合的温度预测组合模型用来预测分解炉的出口温度。通过KPCA筛选出影响因素的主成分从而达到数据降维目的,将降维后的主成分作为BiLSTM神经网络的输入,分解炉出口温度作为BiLSTM神经网络的输出。经BiLSTM神经网络训练,得到分解炉出口温度预测模型。通过对比验证表明,使用KPCA-BiLSTM相结合的温度预测模型具有较好的预测精度。 展开更多
关键词 水泥分解炉 出口温度 核主成分分析(KPCA) 双向长短期记忆(bilstm)神经网络 降维 预测
下载PDF
基于CNN-BiLSTM的潮汐电站潮位预测 被引量:3
6
作者 黄冬梅 王唱 +3 位作者 胡安铎 孙锦中 孙园 李俊峰 《水力发电》 CAS 2021年第10期80-84,共5页
潮汐电站的优化运行需要进行潮位预测。针对传统调和分析方法不能有效处理潮位非线性和非平稳的特性的问题,提出一种CNN-BiLSTM的预测模型,以滑动数据窗口构造潮位数据的特征图作为输入,利用1D CNN提取潮位数据深层特征,然后采用BiLSTM... 潮汐电站的优化运行需要进行潮位预测。针对传统调和分析方法不能有效处理潮位非线性和非平稳的特性的问题,提出一种CNN-BiLSTM的预测模型,以滑动数据窗口构造潮位数据的特征图作为输入,利用1D CNN提取潮位数据深层特征,然后采用BiLSTM网络生成特征描述,最后输出预测结果。采用芝加哥港口的潮汐数据进行了实验,所提预测模型与调和分析及LSTM模型相比,均方根误差分别降低了66.26%和30.11%。算例结果表明CNN-BiLSTM模型可以实现高精度的短期潮位预测。 展开更多
关键词 潮汐电站 潮位预测 调和分析 卷积神经网络 双向长短期记忆神经网络
下载PDF
PCC-BiLSTM-GRU-Attention组合模型预测方法 被引量:3
7
作者 高凯悦 牟莉 张英博 《计算机系统应用》 2022年第7期365-371,共7页
传统预测模型在处理多元时间序列时,常常难以捕捉其非线性动力系统的复杂变化规律导致预测精度较低.针对此问题,本文将PCC-BiLSTM-GRU-Attention组合模型的预测方法进行了探讨和验证.该方法首先使用Pearson相关系数(PCC)进行相关性检验... 传统预测模型在处理多元时间序列时,常常难以捕捉其非线性动力系统的复杂变化规律导致预测精度较低.针对此问题,本文将PCC-BiLSTM-GRU-Attention组合模型的预测方法进行了探讨和验证.该方法首先使用Pearson相关系数(PCC)进行相关性检验并删除无关特征,实现了对多元数据的降维选优.其次使用双向长短期记忆神经网络(BiLSTM)双向提取时序特征.最后使用GRU神经网络融合注意力机制(Attention),进一步学习双向时序特征的变化规律,精准捕捉关键时刻的信息.为了验证该方法在多元时间序列中的可行性,本文以股票价格预测作为实验场景,并与BP模型、LSTM模型、GRU模型、BiLSTM-GRU模型、BiLSTM-GRU-Attention模型进行对比.验证结果表明:本文探讨的PCC-BiLSTM-GRU-Attention组合模型的预测方法相比其他模型具有较高的预测精度,其平均绝对百分比误差(MAPE)达到了2.484%,决定系数达到了0.966. 展开更多
关键词 相关系数 双向长短期记忆神经网络 门控循环单元网络 注意力机制 多元时间序列 深度学习
下载PDF
基于经验模态分解与投资者情绪的Attention-BiLSTM股价趋势预测模型 被引量:2
8
作者 赵帅斌 林旭东 翁晓健 《计算机应用》 CSCD 北大核心 2023年第S01期112-118,共7页
股票价格的变动是投资者在股票市场关注的焦点,所以股价趋势预测一直是量化投资研究的热门话题。传统的机器学习预测模型难以处理非线性、高频率、高噪声的股价时间序列,使得股票价格趋势的预测精度低。为了提高预测精度,针对股票价格... 股票价格的变动是投资者在股票市场关注的焦点,所以股价趋势预测一直是量化投资研究的热门话题。传统的机器学习预测模型难以处理非线性、高频率、高噪声的股价时间序列,使得股票价格趋势的预测精度低。为了提高预测精度,针对股票价格数据的时序性特征,提出用结合经验模态分解(EMD)、投资者情绪和注意力机制的双向长短期记忆神经网络来对股票价格进行涨跌预测。首先使用经验模态分解算法提取股票价格时间序列在不同时间尺度上的特征,并通过构建金融情感词典来提取上一个股票交易日收盘后至下一个交易日开盘前文本的投资者情绪指标,最后使用注意力机制优化的BiLSTM模型对下一个股票交易日进行涨跌预测。在股票价格序列的数据集上进行实验,结果表明,改进后的BiLSTM模型较改进前的BiLSTM模型,准确率从58.50%提升至71.26%;预测为涨的精确率从58.20%提升至70.06%,预测为跌的精确率从59.34%提升至72.36%;预测为涨的召回率从59.85%提升至73.41%,预测为跌的召回率从57.73%提升至69.11%;预测为涨的F1值从58.60%提升至71.61%,预测为跌的F1值从58.08%提升至70.53%;最终通过与长短期记忆(LSTM)网络、基于Attention机制的LSTM(Attention-LSTM)、支持向量机(SVM)、极端梯度提升(XGBoost)等4种典型的股价涨跌预测模型结果对比,验证了所提模型的准确有效性。 展开更多
关键词 双向长短期记忆神经网络 注意力机制 经验模态分解 投资者情绪 股票涨跌预测
下载PDF
多层岩土环境的溶洞智能识别方法研究 被引量:1
9
作者 巴泽群 周玉锋 +4 位作者 周其勋 周立成 刘逸平 刘泽佳 汤立群 《力学与实践》 北大核心 2023年第6期1281-1292,共12页
提出了一种基于双向长短期记忆(bidirectional long short-term memory, BiLSTM)神经网络的多层岩土环境溶洞三维定量智能识别方法。首先,借鉴浅层地震反射波法原理,建立含有单个无填充球形孔洞的多层岩土结构模型,并计算桩锤激振下地... 提出了一种基于双向长短期记忆(bidirectional long short-term memory, BiLSTM)神经网络的多层岩土环境溶洞三维定量智能识别方法。首先,借鉴浅层地震反射波法原理,建立含有单个无填充球形孔洞的多层岩土结构模型,并计算桩锤激振下地表的加速度响应信号;其次,针对不同溶洞工况大量建模,以获取不同工况下的响应信号作为数据集;最后,基于BiLSTM设计了双数据通道分离架构网络模型,实现了对多层岩土环境下不同溶洞工况的定量识别。研究表明,本文所提出方法能够对不同岩土体结构下溶洞的三维位置和直径进行定量识别,且在3 m容差范围内的识别准确率达到了98%以上。 展开更多
关键词 溶洞勘探 有限元方法 深度学习 双向长短期记忆神经网络
下载PDF
一种采用记忆神经网络和曲线形状修正的负荷预测方法 被引量:1
10
作者 张家安 李凤贤 +1 位作者 王铁成 郝妍 《电力工程技术》 北大核心 2024年第1期117-126,共10页
针对分布式电源和新型负荷容量累积造成负荷影响因素多元化和不确定性特性增强的问题,文中提出一种采用记忆神经网络和曲线形状修正的负荷预测方法。在负荷峰值预测中,采用最大信息系数计算负荷峰值与影响因素的非线性相关性,实现对输... 针对分布式电源和新型负荷容量累积造成负荷影响因素多元化和不确定性特性增强的问题,文中提出一种采用记忆神经网络和曲线形状修正的负荷预测方法。在负荷峰值预测中,采用最大信息系数计算负荷峰值与影响因素的非线性相关性,实现对输入特征的筛选;综合考虑负荷峰值序列的长短期自相关性和输入特征与负荷峰值的不同程度相关性,结合Attention机制和双向长短时记忆(bidirectional long short-term memory,BiLSTM)神经网络建立负荷峰值预测模型。在负荷标幺曲线预测中,通过误差倒数法组合相似日和相邻日,建立负荷标幺曲线预测模型;针对预测偏差的非平稳特征,利用自适应噪声的完全集成经验模态分解和BiLSTM网络建立误差预测模型,对曲线形状进行修正。应用中国北方某城市的区域电网负荷数据为算例,验证了所提模型的有效性。 展开更多
关键词 超短期负荷预测 Attention机制 双向长短时记忆(bilstm)神经网络 负荷峰值 负荷标幺曲线 曲线形状修正
下载PDF
基于Bi-LSTM循环神经网络的风储系统控制策略 被引量:1
11
作者 李滨 蒙旭光 白晓清 《电力系统及其自动化学报》 CSCD 北大核心 2023年第12期20-28,共9页
“双碳”背景下风电的渗透率不断提高,将对电力系统的形态和运行机制产生深刻影响。本文提出了一种基于双向长短期记忆Bi-LSTM(bidirectional long short-term memory)循环神经网络的风储系统控制策略。采用双向长短时循环神经网络提取... “双碳”背景下风电的渗透率不断提高,将对电力系统的形态和运行机制产生深刻影响。本文提出了一种基于双向长短期记忆Bi-LSTM(bidirectional long short-term memory)循环神经网络的风储系统控制策略。采用双向长短时循环神经网络提取控制结果与风电场实际出力以及储能状态间的时序信息,通过构建基于双向长短时记忆循环神经网络的控制模型,使得风电场在多种运行工况下能够快速、准确地得到储能系统调节结果。基于实际风电场数据仿真结果表明,本文所提控制策略能够保证在一定经济效益的前提下,将风储系统控制误差保持在0.50%~1.37%。 展开更多
关键词 风储联合系统 控制策略 深度学习 双向长短时记忆循环神经网络 数据驱动
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部