期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到5篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于RoBERTa-WWM的大学生论坛情感分析模型 被引量：14
1
作者 王曙燕 原柯 《计算机工程》 CAS CSCD 北大核心 2022年第8期292-298,305,共8页
大学生论坛语句具有篇幅短、口语化、多流行用语等特点,传统的情感分析模型难以对其进行精准的语义特征表示,并且未充分关注语句的局部特征与上下文语境。提出一种基于RoBERTa-WWM的大学生情感分析模型。通过RoBERTa-WWM模型将论坛文本... 大学生论坛语句具有篇幅短、口语化、多流行用语等特点,传统的情感分析模型难以对其进行精准的语义特征表示,并且未充分关注语句的局部特征与上下文语境。提出一种基于RoBERTa-WWM的大学生情感分析模型。通过RoBERTa-WWM模型将论坛文本语句转化为语义特征表示,并将其输入到文本卷积神经网络中,以提取语句的局部语义特征,同时利用双向门控循环单元网络对局部语义特征进行双向处理,获得全面的上下文语义信息。在此基础上,通过Softmax分类器计算语句在情感标签中的概率向量,选择最大值表示的情感标签作为最终输出的情感标签。实验结果表明,相比RoBERTa-WWM、EK-INIT-CNN、BERT等模型,该模型在大学生论坛与NLPCC2014数据集上具有较优的分类性能,并且在大学生论坛数据集上宏平均精准率、宏平均召回率、宏平均F1值和微平均F1值分别为89.43%、90.43%、90.12%和92.48%。 展开更多
关键词 深度学习 大学生情感分析 roberta-wwm模型 文本卷积神经网络 双向门控循环单元网络
下载PDF
基于门控空洞卷积特征融合的中文命名实体识别 被引量：3
2
作者 杨长沛 廖列法 《计算机工程》 CAS CSCD 北大核心 2023年第8期85-95,共11页
在中文命名实体识别任务中,具有循环结构的长短时记忆网络模型通过捕捉时序特征解决长距离依赖问题,但其特征捕捉方式单一,信息获取能力有限。卷积神经网络通过使用多层卷积并行处理文本,能够提高模型运算速度,捕捉文本的空间特征,但简... 在中文命名实体识别任务中,具有循环结构的长短时记忆网络模型通过捕捉时序特征解决长距离依赖问题,但其特征捕捉方式单一,信息获取能力有限。卷积神经网络通过使用多层卷积并行处理文本,能够提高模型运算速度,捕捉文本的空间特征,但简单地堆叠多个卷积层容易导致梯度消失。为同时获得多维度的文本特征且改善梯度消失问题,提出一种基于RoBERTa-wwm-DGCNN-BiLSTM-BMHA-CRF的中文命名实体识别模型,通过基于全词遮蔽技术的预训练语言模型RoBERTa-wwm把文本表征为字符级嵌入向量,捕捉深度上下文语义信息,并采用门控机制和残差结构对空洞卷积神经网络进行改进以降低梯度消失的风险。使用双向长短时记忆网络和门控空洞卷积神经网络分别捕捉文本的时序特征和空间特征,采用双线性多头注意力机制对多维度的文本特征进行动态融合,最后使用条件随机场对结果进行约束,获得最佳标记序列。实验结果表明,所提模型在Resume、Weibo和MSRA数据集上的F1值分别为97.20%、74.28%和95.74%,证明了该模型在中文命名实体识别中的有效性。 展开更多
关键词 命名实体识别 roberta-wwm模型 空洞卷积 注意力机制 特征融合
下载PDF
基于RoBERTa-WWM模型的中文电子病历命名实体识别研究
3
作者 刘慧敏 黄霞 +1 位作者 熊菲 王国庆 《长江信息通信》 2024年第3期7-9,共3页
在应对中文电子病历文本分析时,面临着一词多义、识别不完整等挑战。为此,构建了RoBERTa-WWM模型与BiLSTM-CRF模块相结合的深度学习框架。首先,将经过预训练的RoBERTa-WWM语言模型与Transformer层产生的语义特征进行深度融合,以捕获文... 在应对中文电子病历文本分析时,面临着一词多义、识别不完整等挑战。为此,构建了RoBERTa-WWM模型与BiLSTM-CRF模块相结合的深度学习框架。首先,将经过预训练的RoBERTa-WWM语言模型与Transformer层产生的语义特征进行深度融合,以捕获文本的复杂语境信息。接着,将融合后的语义表示输入至BiLSTM以及CRF模块,进一步细化了实体的辨识范围与准确性。最后,在CCKS2019数据集上进行了实证分析,F1值高达82.94%。这一数据有力地证实了RoBERTa-WWM-BiLSTM-CRF模型在中文电子病历命名实体的识别工作上的优越性能。 展开更多
关键词 roberta-wwm模型 中文电子病历 实体识别
下载PDF
面向任务型对话机器人的多任务联合模型研究 被引量：1
4
作者 高作缘 陶宏才 《成都信息工程大学学报》 2023年第3期251-257,共7页
在任务型对话机器人的搭建过程中,一般需要执行多个自然语言处理的子任务。目前传统的训练方式是将每个子任务独立训练后再进行整合,这样忽视了不同子任务之间的关联性,限制了模型的预测能力。现提出一种Joint-RoBERTa-WWM-of-Theseus... 在任务型对话机器人的搭建过程中,一般需要执行多个自然语言处理的子任务。目前传统的训练方式是将每个子任务独立训练后再进行整合,这样忽视了不同子任务之间的关联性,限制了模型的预测能力。现提出一种Joint-RoBERTa-WWM-of-Theseus压缩联合模型,一方面通过多任务联合学习训练的方式对意图识别、行业识别和语义槽填充3个子任务进行联合训练,并在多分类的子任务中引入Focal loss机制来解决数据分布不平衡的问题;另一方面,模型通过Theseus方法进行压缩,在略微损失精度的前提下,大幅提高模型预测速度,提高模型在生产环境中的实时性与实用性。 展开更多
关键词 roberta-wwm模型 多任务联合学习 Theseus压缩 Focal loss
下载PDF
基于RoBERTa-WWM-BiGRU-CRF的中文命名实体识别
5
作者 李云想 王汝凉 李嘉敏 《南宁师范大学学报（自然科学版）》 2023年第1期72-78,共7页
该文提出一种基于RoBERTa-WWM-BiGRU-CRF的实体识别模型,利用RoBERTa-WWM得到包含上下文信息的语义向量,特征提取部分采用BiGRU网络,在CRF层完成序列解码标注的任务.实验结果表明,与传统方法比较,该方法可以做到一词多义的效果,并且能... 该文提出一种基于RoBERTa-WWM-BiGRU-CRF的实体识别模型,利用RoBERTa-WWM得到包含上下文信息的语义向量,特征提取部分采用BiGRU网络,在CRF层完成序列解码标注的任务.实验结果表明,与传统方法比较,该方法可以做到一词多义的效果,并且能有效提高命名实体识别的精度. 展开更多
关键词 自然语言处理 命名实体识别 roberta-wwm模型 双向门控循环单元
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部