期刊文献+
共找到19篇文章
< 1 >
每页显示 20 50 100
基于贝叶斯优化CNN-BiGRU混合神经网络的短期负荷预测 被引量:25
1
作者 邹智 吴铁洲 +1 位作者 张晓星 张智敏 《高电压技术》 EI CAS CSCD 北大核心 2022年第10期3935-3945,共11页
高效准确的短期负荷预测在电力市场交易过程中可以提高发电设备的利用率和经济调度的有效性。为解决历史数据当中特征因素较多且特征关系不明显等问题,并充分挖掘负荷数据中时序性特征之间的联系,提出了一种基于贝叶斯优化的卷积神经网... 高效准确的短期负荷预测在电力市场交易过程中可以提高发电设备的利用率和经济调度的有效性。为解决历史数据当中特征因素较多且特征关系不明显等问题,并充分挖掘负荷数据中时序性特征之间的联系,提出了一种基于贝叶斯优化的卷积神经网络(convolutional neural network,CNN)-双向门控循环网络(bidirectional gate recurrent unit,BiGRU)短期电力负荷预测方法。首先结合特征工程,采用皮尔逊相关系数对负荷特征参数进行初筛,再用递归特征消除(recursive feature elimination,RFE)结合回归模型对特征进行反向选择,完成特征参数筛选;搭建CNN-BiGRU网络模型,并使用贝叶斯优化对其进行超参数调优;将数据输入CNN网络,利用其提取反映特征与负荷之间复杂变化关系的高维特征向量,并将所提特征向量构造为时间序列形式,再输入到BiGRU网络中,完成短期负荷预测。以农夫山泉公司以及美的暖通公司所在地区的真实数据作为实际算例,根据实验结果显示,该模型的预测精度达到95.9%,与其他模型相比具有更好的预测效果。 展开更多
关键词 短期负荷预测 卷积神经网络 双向门控循环单元 超参数寻优 特征工程
下载PDF
基于CNN-BiGRU的高压直流输电线路故障识别
2
作者 赵妍 王泽通 +3 位作者 邢士标 朱建华 陈阔 张思博 《吉林电力》 2024年第1期29-34,39,共7页
针对高压直流(high voltage direct current,HVDC)输电线路故障暂态行波具有时序性和强非线性的特点,导致高过渡电阻情况下故障识别率低的问题,提出基于卷积神经网络(convolutional neural networks,CNN)和双向循环门单元(bidirectional... 针对高压直流(high voltage direct current,HVDC)输电线路故障暂态行波具有时序性和强非线性的特点,导致高过渡电阻情况下故障识别率低的问题,提出基于卷积神经网络(convolutional neural networks,CNN)和双向循环门单元(bidirectional gate recurrent unit,BiGRU)的HVDC输电线路故障识别方法。首先,采用故障后整流侧的双极暂态电流行波作为特征向量,利用CNN提取全局特征,并从中剔除噪声和不稳定成分,完成对数据的降维处理。然后,采用BiGRU来捕获CNN提取到特征的前后时间信息,进一步提取数据中的时序特征,以实现HVDC输电线路故障识别。仿真结果表明:该方法可在不同故障地点以及不同过渡电阻下对单极接地、双极短路、雷击故障、雷击干扰共四种故障实现准确识别,可靠性高,具有较强的耐受过渡电阻能力,同时具备一定的抗噪性能。 展开更多
关键词 深度学习 高压直流 卷积神经网络 双向循环门单元 故障识别
下载PDF
基于堆叠稀疏去噪自编码器的混合入侵检测方法
3
作者 田世林 李焕洲 +2 位作者 唐彰国 张健 李其臻 《四川师范大学学报(自然科学版)》 CAS 2024年第4期517-527,共11页
针对高维数据场景下传统入侵检测方法特征提取困难、检测准确率低等问题,提出一种集成多种深度学习模型的混合入侵检测方法.该方法由特征降维算法和混合检测模型2部分组成.首先,利用堆叠稀疏去噪自编码器对原始数据进行特征降维,从而剔... 针对高维数据场景下传统入侵检测方法特征提取困难、检测准确率低等问题,提出一种集成多种深度学习模型的混合入侵检测方法.该方法由特征降维算法和混合检测模型2部分组成.首先,利用堆叠稀疏去噪自编码器对原始数据进行特征降维,从而剔除可能存在的噪声干扰和冗余信息.然后,采用一维卷积神经网络和双向门控循环单元学习数据中的空间维度特征和时序维度特征,将融合后的空时特征通过注意力分配不同的权重系数,从而使有用的信息得到更好表达,再经由全连接层训练后进行分类.为检验方案的可行性,在UNSW-NB15数据集上进行验证.结果表明,该模型与其他同类型入侵检测算法相比,拥有更优秀的检测性能,其准确率达到99.57%,误报率仅为0.68%. 展开更多
关键词 异常检测 注意力机制 堆叠稀疏去噪自编码器 一维卷积神经网络 双向门控循环单元
下载PDF
融合MultiHead Attention和BiGRU的入侵检测模型 被引量:1
4
作者 樊景威 葛丽娜 +1 位作者 张壕 李登辉 《计算机与数字工程》 2023年第1期74-80,共7页
近年来,入侵检测技术在网络安全中扮演着越来越重要的角色。目前的入侵检测模型所用的方法大部分是基于传统机器学习的浅层方法。浅层机器学习方法不能有效发掘数据特征,在入侵检测中存在一定的局限性。为此,论文提出了一种深度学习模型... 近年来,入侵检测技术在网络安全中扮演着越来越重要的角色。目前的入侵检测模型所用的方法大部分是基于传统机器学习的浅层方法。浅层机器学习方法不能有效发掘数据特征,在入侵检测中存在一定的局限性。为此,论文提出了一种深度学习模型,该模型结合了多头注意力(multiHead attention)和双向门循环单元(BiGRU)。模型使用多头注意力和双向门循环单元从空间和时间上处理网络攻击流量,有效缓解模型复杂性,同时增加模型表现力。此外,使用最大池化方法(maxpooling)来平衡训练速度和性能,不但可以提取序列的边缘特征,还能帮助扩大感受野,由于数据不平衡会影响模型性能表现,因此使用随机过采样(Random Over Sampling)方法来处理数据不平衡的问题。实验基于UNSW-NB15数据集和CIC-IDS2017数据集,并使用准确率(Accuracy)、精确率(Precision)、召回率(Recall)和f1分数作为评估指标。实验结果表明,模型性能优秀。 展开更多
关键词 多头注意力 双向门控循环单元 神经网络 入侵检测
下载PDF
基于注意力机制与双向门控循环单元的多导睡眠图睡眠阶段分期方法研究 被引量:1
5
作者 刘颖 何长乐 +2 位作者 苑成梅 章浩伟 季曹珺 《生物医学工程学杂志》 EI CAS 北大核心 2023年第1期35-43,共9页
多导睡眠图(PSG)监测是临床上用于诊断诸如失眠、呼吸暂停等疾病的重要手段。为了解决以手工逐帧视觉判断PSG进行睡眠障碍患者睡眠阶段分期耗时长、耗费精力大等问题,本文提出一种结合卷积神经网络(CNN)与双向门控循环神经网络(Bi GRU)... 多导睡眠图(PSG)监测是临床上用于诊断诸如失眠、呼吸暂停等疾病的重要手段。为了解决以手工逐帧视觉判断PSG进行睡眠障碍患者睡眠阶段分期耗时长、耗费精力大等问题,本文提出一种结合卷积神经网络(CNN)与双向门控循环神经网络(Bi GRU)的深度学习算法模型,并设计了一种动态稀疏性自注意力机制以解决门控循环单元(GRU)网络对长距离信息难以获得准确向量表示的问题。本文采集来自上海精神卫生中心143例睡眠障碍患者整晚PSG数据并结合开源数据集153例睡眠障碍患者整晚PSG数据,选取其中的6个脑电(EEG)信号通道、2个眼电(EOG)信号通道与单个下颌肌电(EMG)信号通道等共9个通道的电生理通道信号进行模型训练与测试评估。经交叉验证后得到的分期准确率为(84.0±2.0)%,一致性检验值为0.77±0.50,优于医师间评分的一致性检验值0.75±0.11。实验结果表明,本文算法模型在不同人群中具有较高的分期效果并具有普适性,对于协助临床医师进行快速、大规模PSG睡眠自动分期具有重要研究意义。 展开更多
关键词 多导睡眠图 睡眠分期 自注意力机制 双向门控循环单元
原文传递
基于注意力机制的半监督日志异常检测方法
6
作者 尹春勇 冯梦雪 《计算机工程与科学》 CSCD 北大核心 2023年第8期1405-1415,共11页
日志记载着系统运行时的重要信息,通过日志异常检测可以快速准确地找出系统故障的原因。然而,日志序列存在数据不稳定和数据之间相互依赖等问题。为此,提出了一种新的半监督日志序列异常检测方法。该方法利用双向编码语义解析BERT模型... 日志记载着系统运行时的重要信息,通过日志异常检测可以快速准确地找出系统故障的原因。然而,日志序列存在数据不稳定和数据之间相互依赖等问题。为此,提出了一种新的半监督日志序列异常检测方法。该方法利用双向编码语义解析BERT模型和多层卷积网络分别提取日志信息,得到日志序列之间的上下文相关信息和日志序列的局部相关性,然后使用基于注意力机制的Bi-GRU网络进行日志序列异常检测。在3个数据集上验证了所提方法的性能。与6个基准方法相比,所提方法拥有最优的F1值,同时获得了最高的AUC值0.9813。实验结果表明,所提方法可以有效处理日志序列的数据不稳定性和数据之间相互依赖的问题。 展开更多
关键词 日志异常检测 双向门控递归单元 多层卷积 双向编码语义解析 注意力机制
下载PDF
基于可变长序列的恶意加密流量检测方法
7
作者 江魁 陈小雷 +2 位作者 顾杜娟 李文瑾 李越挺 《福州大学学报(自然科学版)》 CAS 北大核心 2023年第5期711-716,共6页
引入组合恶意加密流量数据集,结合随机森林对各个特征的重要性进行对比,构建可变长二维特征序列,提出一种针对可变长序列的恶意加密流量检测方法.该方法采用双向门控循环单元-卷积神经网络(BiGRU-CNN)深度学习模型,通过引入掩码层,有效... 引入组合恶意加密流量数据集,结合随机森林对各个特征的重要性进行对比,构建可变长二维特征序列,提出一种针对可变长序列的恶意加密流量检测方法.该方法采用双向门控循环单元-卷积神经网络(BiGRU-CNN)深度学习模型,通过引入掩码层,有效解决变长序列问题,能够同时提取流量数据中时间和空间的多重特征,最终实现对恶意加密流量的二分类检测.实验结果表明,该方法与基于卷积神经网络(CNN)、长短期记忆网络(LSTM)等单一模型相比,精确率、召回率和F 1值均有所提升,准确率达到94.61%. 展开更多
关键词 恶意加密流量 深度学习 变长序列 卷积神经网络 双向门控循环单元
下载PDF
基于SGMD的CNN-BiGRU光伏功率预测
8
作者 邹邦杰 刘国巍 《无线互联科技》 2023年第23期128-130,共3页
为准确预测光伏电站的发电功率,帮助电网调度部门制定合理的调度计划,文章提出一种基于SGMD(Symplectic Geometry Mode Decomposition)、CNN(Convolutional Neural Networks)和BiGRU(Bidirectional Gate Recurrent Unit)的光伏发电功率... 为准确预测光伏电站的发电功率,帮助电网调度部门制定合理的调度计划,文章提出一种基于SGMD(Symplectic Geometry Mode Decomposition)、CNN(Convolutional Neural Networks)和BiGRU(Bidirectional Gate Recurrent Unit)的光伏发电功率预测模型。首先,利用辛几何分解将历史功率分解为不同模态;其次,结合天气数据输入CNN-BiGRU组合模型进行预测;最后,将预测结果整合。该模型选用新疆某光伏电站2019年运行数据分别在短期与中长期不同预测范围内进行预测实验,实验结果表明,此模型的通用性和辛几何分解算法在提高光伏功率预测精度上具有一定的研究价值。 展开更多
关键词 光伏功率预测 辛几何模态分解 卷积神经网络 双向门控单元
下载PDF
基于多层注意力机制的服装电商评论情感分析 被引量:2
9
作者 胡新荣 王哲 +2 位作者 刘军平 彭涛 何儒汉 《计算机技术与发展》 2022年第1期67-72,共6页
互联网购物逐渐走进人们生活,人们在购物的同时也会留下海量评论文本,这些文本蕴含着巨大的价值和情感倾向,通过分析这些服装电商评论文本情感倾向,为推荐系统提供了参考。传统的算法难以提取到文本更深层次的情感特征,难以达到很好的... 互联网购物逐渐走进人们生活,人们在购物的同时也会留下海量评论文本,这些文本蕴含着巨大的价值和情感倾向,通过分析这些服装电商评论文本情感倾向,为推荐系统提供了参考。传统的算法难以提取到文本更深层次的情感特征,难以达到很好的效果。因此,该文提出了一种基于多层注意力机制BiGRU-SD-Attention的算法模型。首先,通过分布式爬虫采集服装电商评论文本,将文本数据进行清洗,划分为词语级别和句子级别数据集;利用BiGRU网络提取文本的正、负情感特征,然后对词语和句子分别运用注意力机制进行情感特征的重新加权计算;通过多层递进的权重计算,最后分类输出服装电商文本的情感特征倾向。实验结果表明,该算法的准确率达到了94.23%,对比传统的SVM算法(81.67%)以及单一注意力机制的BiLSM-Attention算法(93.50%),在各方面都有了显著的提升。 展开更多
关键词 分布式爬虫 服装电商评论 双向门控循环记忆网络 注意力机制 情感分析
下载PDF
基于MIC与BiGRU的水电机组振动趋势预测 被引量:13
10
作者 毕扬 郑波 +3 位作者 张亚武 朱溪 江亚兰 李超顺 《水利学报》 EI CSCD 北大核心 2021年第5期612-621,632,共11页
为提高水电机组振动趋势预测的准确率,本研究提出了一种基于最大信息系数(MIC)与双边门控循环神经网络(BiGRU)的水电机组振动趋势预测模型。首先,预处理阶段采用小波系数阈值去噪(WTD)方法对历史振动信号数据进行降噪处理以消除强背景... 为提高水电机组振动趋势预测的准确率,本研究提出了一种基于最大信息系数(MIC)与双边门控循环神经网络(BiGRU)的水电机组振动趋势预测模型。首先,预处理阶段采用小波系数阈值去噪(WTD)方法对历史振动信号数据进行降噪处理以消除强背景噪声的干扰,并将振动信号划分为多个训练样本以改善算法的鲁棒性;其次考虑水力、电气与机械不平衡力因素的影响,基于MIC对与振动信号关联性强的状态参数进行特征选择作为模型的参考输入;再采用BiGRU网络建立振动信号预测模型,进行超前多步的振动信号趋势预测;最后利用训练好的模型对在线获取的振动数据进行实时预测。为评估模型的预测性能,本研究采集某抽水蓄能水电站的振动监测数据进行多组对比实验,验证了所提方法具有较好的预测能力和泛化能力,适用于水电机组振动的趋势预测。 展开更多
关键词 最大信息系数法 BiGRU 小波阈值去噪 信号处理 特征选择 趋势预测
下载PDF
基于BERT-BiGRU模型的文本分类研究 被引量:7
11
作者 王紫音 于青 《天津理工大学学报》 2021年第4期40-46,共7页
文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循... 文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recurrent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示。在BERT模型后面增加了BiGRU,将训练后的词向量作为Bi GRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果。使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93。通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能。 展开更多
关键词 文本分类 深度学习 基于编码器-解码器的双向编码表示法(bidirectional encoder representations from transformers BERT)模型 双向门控制循环单元(bidirectional gate recurrent unit BiGRU)
下载PDF
基于对抗双向GRU网络的跨语言情感分类方法
12
作者 李雪芹 杨文丽 李娜娜 《计算机应用与软件》 北大核心 2024年第1期82-88,共7页
为了提高资源匮乏语言的情感分类性能,提出一种基于对抗双向GRU网络相结合的跨语言情感分类模型(ABi-GRU)。通过基于语义双语词嵌入方法来提取中英文文本词向量特征;结合注意力机制的双向GRU网络提取文本的上下文情感特征,同时引入生成... 为了提高资源匮乏语言的情感分类性能,提出一种基于对抗双向GRU网络相结合的跨语言情感分类模型(ABi-GRU)。通过基于语义双语词嵌入方法来提取中英文文本词向量特征;结合注意力机制的双向GRU网络提取文本的上下文情感特征,同时引入生成对抗网络缩小中英文向量特征分布之间的差距;通过情感分类器进行情感分类。实验结果分析表明,该方法有效地提升了跨语言情感分类的准确率。 展开更多
关键词 跨语言情感分类 注意力机制 生成对抗网络 双向GRU网络
下载PDF
基于多模态时-频特征融合的信号调制格式识别方法 被引量:1
13
作者 贺超 陈进杰 +1 位作者 金钊 雷印杰 《计算机科学》 CSCD 北大核心 2023年第4期226-232,共7页
自动调制识别(Automatic Modulation Recognition,AMR)是认知无线电中的关键技术,在无线通信中有着广泛应用。针对现有的自动调制识别方法大多都只利用了信号时域或频域的单模态信息,忽略了多模态信息之间的互补性的问题,提出了一种基... 自动调制识别(Automatic Modulation Recognition,AMR)是认知无线电中的关键技术,在无线通信中有着广泛应用。针对现有的自动调制识别方法大多都只利用了信号时域或频域的单模态信息,忽略了多模态信息之间的互补性的问题,提出了一种基于多模态时-频特征融合的信号调制格式识别方法。首先,在融合之前利用对比学习对齐信号的时域特征和频域特征,减小时-频特征间的异质性差异。然后,采用跨模态注意力实现时域特征和频域特征的互补性融合。最后,为了进一步提高模型整体的性能,在频域编码器中引入残差收缩模块来提取信号时频图的频域特征,并在时域编码器中引入复数双向门控循环单元,以提取I和Q两路信号之间的相关性特征及信号时序特征。在RadioML2016a上进行了实验,结果表明,所提方法具有较高的识别准确率和噪声鲁棒性。 展开更多
关键词 自动调制识别 跨模态注意力融合 对比学习 残差收缩模块 复数双向门控循环单元
下载PDF
基于互补集合经验模态分解和改进麻雀搜索算法优化双向门控循环单元的交通流组合预测模型
14
作者 殷礼胜 刘攀 +3 位作者 孙双晨 吴洋洋 施成 何怡刚 《电子与信息学报》 EI CSCD 北大核心 2023年第12期4499-4508,共10页
该文针对短时交通流预测过程呈现的非线性、非平稳性及时序相关性特征,为提升预测的精度及收敛速度,提出一种基于互补集合经验模态分解(CEEMD)和改进麻雀搜索算法(ISSA)优化双向门控循环单元(BiGRU)的组合预测模型。首先,考虑到端点飞... 该文针对短时交通流预测过程呈现的非线性、非平稳性及时序相关性特征,为提升预测的精度及收敛速度,提出一种基于互补集合经验模态分解(CEEMD)和改进麻雀搜索算法(ISSA)优化双向门控循环单元(BiGRU)的组合预测模型。首先,考虑到端点飞翼问题,通过改进CEEMD算法将交通流量序列分解为体现路网交通趋势性、周期性及随机性的本征模态函数(IMF)分量,有效提取了其中的先验特征;随后,利用BiGRU网络挖掘交通流量序列中的时序相关性特征,为避免局部最优,并提高麻雀搜索算法(SSA)全局搜索及局部开发能力,采用ISSA对BiGRU网络权值参数迭代择优。实验结果表明,该组合预测模型中各组件对提高预测精度均起到正向作用,同时在不同交通流量数据集下的预测性能较对比算法均更优,展现了精准、快速的预测表现以及良好的泛化能力。 展开更多
关键词 短时交通流预测 互补集合经验模态分解 麻雀搜索算法 双向门控循环单元 边界局部特征延拓
下载PDF
基于奇异谱分析和卷积双向门控单元网络的超短期风电功率预测 被引量:3
15
作者 陈黍 许炫淙 +2 位作者 张铮 梁儒铎 孟安波 《电工技术》 2022年第4期49-54,57,共7页
精确的短期风电功率预测能有效提高电网供电可靠性。为降低风电数据中隐含噪声对预测结果的影响,采用奇异谱分析(Singular Spectrum Analysis,SSA)将原始数据分解并重构为趋势、周期和高频噪声三个子序列,作为预测模型的输入。针对传统... 精确的短期风电功率预测能有效提高电网供电可靠性。为降低风电数据中隐含噪声对预测结果的影响,采用奇异谱分析(Singular Spectrum Analysis,SSA)将原始数据分解并重构为趋势、周期和高频噪声三个子序列,作为预测模型的输入。针对传统循环网络局限于时间相关性的前向提取,提出卷积双向门控循环单元网络(Convolution Neural Network-Bidirectional Gated Recurrent Unit,CNN-BiGRU)预测模型。前者提取重构子序列间特征的耦合关系,后者挖掘数据的双向时间相关性,以提高预测精度。为了研究该模型的预测性能,选取了其他模型进行对比,试验结果表明SSA-CNN-BiGRU模型比其他模型更具有优越的预测性能。 展开更多
关键词 风电功率预测 奇异谱分析 卷积神经网络 双向门控单元循环网络 深度学习
下载PDF
基于生成对抗网络与深度学习的少数据云资源预测
16
作者 陈基漓 张长晖 谢晓兰 《科学技术与工程》 北大核心 2022年第36期16099-16107,共9页
精确的云资源预测对计算平台实现安全运行具有十分重要的意义,针对新公司的云计算资源缺乏足够数据样本而造成预测模型精度降低的问题,提出一种基于WasserStein生成对抗网络(WasserStein generative adversarial network with gradient ... 精确的云资源预测对计算平台实现安全运行具有十分重要的意义,针对新公司的云计算资源缺乏足够数据样本而造成预测模型精度降低的问题,提出一种基于WasserStein生成对抗网络(WasserStein generative adversarial network with gradient penalty,WGAN-GP)和双向门控循环单元网络(bidirectional gate recurrent unit,BiGRU)的少样本云计算资源预测模型。通过生成对抗网络去学习原始少样本数据的分布规律,以高斯噪声作为输入生成与原始数据具有相同分布的新样本数据,实现数据增强的行为;由于传统门控单元网络无法完全利用数据的时间信息,采用双向门控循环单元网络对数据的前向、反向时间信息进行双向提取并预测。以Google公开数据集进行仿真,对无增强数据和增强数据后的不同机器算法模型的预测结果进行对比。实验结果表明:使用WasserStein生成对抗网络数据增强后的双向门控循环单元网络模型精度的达到98.3%,所提方法适用于少样本数据的云计算资源预测。 展开更多
关键词 云资源预测 生成对抗网络 双向门控单元网络(BiGRU) WasserStein距离 梯度惩罚
下载PDF
基于BERT模型的检验检测领域命名实体识别
17
作者 苏展鹏 李洋 +4 位作者 张婷婷 让冉 张龙波 蔡红珍 邢林林 《高技术通讯》 CAS 2022年第7期749-755,共7页
针对检验检测领域存在的实体语料匮乏、实体嵌套严重、实体类型冗杂繁多等问题,提出了一种结合双向编码器表示法(BERT)预处理语言模型、双向门控循环单元(BIGRU)双向轻编码模型和随机条件场(CRF)的命名实体识别方法。BERT-BIGRU-CRF(BGC... 针对检验检测领域存在的实体语料匮乏、实体嵌套严重、实体类型冗杂繁多等问题,提出了一种结合双向编码器表示法(BERT)预处理语言模型、双向门控循环单元(BIGRU)双向轻编码模型和随机条件场(CRF)的命名实体识别方法。BERT-BIGRU-CRF(BGC)模型首先利用BERT预处理模型结合上下文语义训练词向量;然后经过BIGRU层双向编码;最后在CRF层计算后输出最优结果。利用含有检测组织、检测项目、检测标准和检测仪器4种命名实体的检验检测领域数据集来训练模型,结果表明BGC模型的准确率、召回率和F1值都优于不加入BERT的对比模型。同时对比BERT-BILSTM-CRF模型,BGC模型在训练时间上缩短了6%。 展开更多
关键词 命名实体识别 双向编码器表示法(BERT) 检验检测领域 深度学习 双向门控循环单元(BIGRU)
下载PDF
基于句法和全文信息增强的中文事件检测方法
18
作者 王红 吴浩正 《数据采集与处理》 CSCD 北大核心 2022年第5期1059-1069,共11页
针对目前中文事件检测中词语之间句法依存关系利用不充分和缺乏文章全局语义信息的问题,提出了一种基于句法和全文信息增强的中文事件检测模型。模型首先引入图卷积网络(Graph convolutional network,GCN),通过捕获词语之间的依存句法... 针对目前中文事件检测中词语之间句法依存关系利用不充分和缺乏文章全局语义信息的问题,提出了一种基于句法和全文信息增强的中文事件检测模型。模型首先引入图卷积网络(Graph convolutional network,GCN),通过捕获词语之间的依存句法关系来增强词语的特征表示。之后采用双向门控循环单元(Bidirectional gate recurrent unit,Bi-GRU)分别学习句子内和句子之间的上下文信息,得到包含文章全局信息的句向量。最后将字、词、句3个粒度的信息通过门结构进行动态融合,使用条件随机场(Conditional random field,CRF)完成对句子中触发词的识别和标注。在ACE2005和CEC中文数据集上的实验结果表明,本文方法有效提升了中文事件检测的效果。 展开更多
关键词 事件检测 依存句法分析 特征增强 全文信息 图卷积神经网络 双向门控循环单元
下载PDF
基于BERT的双通道神经网络模型文本情感分析研究 被引量:4
19
作者 严驰腾 何利力 《智能计算机与应用》 2022年第5期16-22,共7页
针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量... 针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F;分值上分别提高了3.7%和5.1%。 展开更多
关键词 文本情感分析 BERT模型 卷积神经网络(CNN) 双向门控制循环单元(BiGRU) 注意力机制
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部