期刊文献+
共找到110篇文章
< 1 2 6 >
每页显示 20 50 100
ChatGPT中文信息抽取能力测评——以三种典型的抽取任务为例 被引量:16
1
作者 鲍彤 章成志 《数据分析与知识发现》 CSCD 北大核心 2023年第9期1-11,共11页
【目的】评估ChatGPT在中文命名实体识别、关系抽取以及事件抽取等典型中文信息抽取任务中的性能,分析不同任务和领域ChatGPT的表现差异,给出ChatGPT中文场景下的使用建议。【方法】采用Prompt提示的方式,分别依据精确匹配和宽松匹配两... 【目的】评估ChatGPT在中文命名实体识别、关系抽取以及事件抽取等典型中文信息抽取任务中的性能,分析不同任务和领域ChatGPT的表现差异,给出ChatGPT中文场景下的使用建议。【方法】采用Prompt提示的方式,分别依据精确匹配和宽松匹配两种方式,测评ChatGPT在三个典型信息抽取任务、共7个数据集上的性能:在MSRA、Weibo、Resume和CCKS2019数据集评估ChatGPT的命名实体识别效果,并与GlyceBERT和ERNIE3.0模型对比;在FinRE和SanWen数据集测试ChatGPT与ERNIE3.0 Titan的关系抽取效果;在CCKS2020数据集测试ChatGPT与ERNIE3.0的事件抽取效果。【结果】ChatGPT在命名实体识别任务中的表现不及GlyceBERT和ERNIE3.0模型。在关系抽取任务中,ERNIE3.0 Titan优于ChatGPT。在事件抽取任务中,ChatGPT在宽松匹配下的表现优于ERNIE3.0。【局限】以Prompt提示的方式评估ChatGPT的性能表现存在主观性,不同的Prompt会产生效果差异。【结论】ChatGPT在典型的中文信息抽取任务上的表现还有很大改进空间,用户在使用过程中需选择合适的Prompt和问题。 展开更多
关键词 ChatGPT 信息抽取 中文信息处理 预训练语言模型
原文传递
中文电子病历命名实体识别的研究与进展 被引量:12
2
作者 杜晋华 尹浩 冯嵩 《电子学报》 EI CAS CSCD 北大核心 2022年第12期3030-3053,共24页
海量电子病历(Electronic Medical Record,EMR)数据是支撑医疗智能化研究的重要原料,然而电子病历文本数据的半结构化甚至无结构化特点,造成后续对其分析利用的极大困难.虽然近年来基于深度学习的命名实体识别(Named Entity Recognition... 海量电子病历(Electronic Medical Record,EMR)数据是支撑医疗智能化研究的重要原料,然而电子病历文本数据的半结构化甚至无结构化特点,造成后续对其分析利用的极大困难.虽然近年来基于深度学习的命名实体识别(Named Entity Recognition,NER)成为对电子病历进行自动化信息抽取的核心技术,但鉴于中文电子病历(Chinese Electronic Medical Record,CEMR)具有包括病历文本的非规范性与专业性、医疗实体的独特性和标注语料的稀缺性在内的独特文本数据特征,该研究目前仍存在诸多挑战.本文对中文电子病历命名实体识别的研究与进展进行了综述,系统梳理了命名实体识别的概念、相关理论模型以及制约中文电子病历命名实体识别准确率和识别效率的主要原因;从技术发展角度详细分析了中文电子病历命名实体识别方法的变革历程;并对中文电子病历命名实体识别效果做了实验验证与深入分析,指出了现有模型的不足与改进方向.鉴于国内近年来与中文信息学处理相关的测评会议CCKS持续关注中文电子病历命名实体识别,本文特别对CCKS在该领域五年来的全部代表性测评论文做了纵横对比分析,并通过在主流模型上的深入实验与研究,为后续该领域的继续推进寻求了思路. 展开更多
关键词 中文电子病历 命名实体识别 深度学习 预训练模型 自然语言处理 医疗信息化
下载PDF
ChatGPT对我国语言战略的冲击与应对 被引量:8
3
作者 肖辛格 储小静 刘云 《天津师范大学学报(社会科学版)》 北大核心 2023年第5期65-73,共9页
ChatGPT自发布以来所表现出的优异性能及其可能带来的颠覆性变革,引发了不同学科的广泛讨论。ChatGPT及相关技术同样会对我国语言战略带来影响,如在语言伦理、社会传播、意识形态话语权等方面均将给语言战略带来挑战。为应对这些挑战,必... ChatGPT自发布以来所表现出的优异性能及其可能带来的颠覆性变革,引发了不同学科的广泛讨论。ChatGPT及相关技术同样会对我国语言战略带来影响,如在语言伦理、社会传播、意识形态话语权等方面均将给语言战略带来挑战。为应对这些挑战,必须:(1)语言政策方面,强化顶层设计,建立健全政策体系、风险防控体系,完善立法;(2)语言研究与教学方面,加大语言学基础性理论研究,深化“语言指纹”等语言应用研究,推动语言教育与人工智能的深度融合;(3)自然语言处理技术方面,优化语言资源建设策略及规范,加强对抗性技术研发。 展开更多
关键词 ChatGPT 预训练语言模型 语言智能化 语言资源建设 语言伦理
原文传递
以ChatGPT为代表的大型语言模型研究进展 被引量:7
4
作者 柯沛 雷文强 黄民烈 《中国科学基金》 CSCD 北大核心 2023年第5期714-723,共10页
大型语言模型是当今人工智能领域最前沿的研究方向之一,该方向旨在训练含有大规模参数的通用语言模型,使其能够遵循人类指令完成不同类型的自然语言处理任务。作为大型语言模型的代表,由OpenAI研发的ChatGPT在各个领域均展现出强大的自... 大型语言模型是当今人工智能领域最前沿的研究方向之一,该方向旨在训练含有大规模参数的通用语言模型,使其能够遵循人类指令完成不同类型的自然语言处理任务。作为大型语言模型的代表,由OpenAI研发的ChatGPT在各个领域均展现出强大的自然语言生成能力,受到了全球各行各业的关注。本文从语言模型的发展历程出发,介绍了近年研究者在扩大语言模型规模上的探索,然后分析了大型语言模型带来的范式改变,并以ChatGPT为典型实例概述了其发展、技术和应用,接着介绍了后ChatGPT时代大型语言模型的前沿进展,最后从评价和治理两方面总结了目前大型语言模型的局限性及未来需要解决的挑战。 展开更多
关键词 大型语言模型 ChatGPT 预训练语言模型 TRANSFORMER 思维链 自然语言处理 人工智能
原文传递
情报学视角下的预训练语言模型研究进展 被引量:1
5
作者 胡昊天 邓三鸿 +2 位作者 王东波 沈思 沈健威 《图书情报工作》 北大核心 2024年第3期130-150,共21页
[目的/意义]对预训练语言模型在情报学与情报工作中的相关研究进行系统性的梳理与分析,为后续预训练模型与情报研究的融合提供借鉴。[方法/过程]首先,简述预训练模型的基本原理与发展历程,汇总情报研究中应用较为广泛的预训练模型。其次... [目的/意义]对预训练语言模型在情报学与情报工作中的相关研究进行系统性的梳理与分析,为后续预训练模型与情报研究的融合提供借鉴。[方法/过程]首先,简述预训练模型的基本原理与发展历程,汇总情报研究中应用较为广泛的预训练模型。其次,宏观上分析预训练模型在国内外情报研究中的热点方向,微观上从情报组织、情报检索、情报挖掘等方面调研预训练模型相关研究成果,并细致分析归纳预训练模型的应用方式、改进策略与性能表现。最后,从预训练模型的语料、训练、评价、应用等方面总结当前预训练模型在情报学科中面临的机遇与挑战,展望未来发展。[结果/结论 ]当前BERT及其改型在情报处理中应用最广、表现最优。结合神经网络与微调的范式被用于各研究场景,尤其是领域信息抽取与文本分类任务。继续预训练、外部知识增强、架构优化等策略可进一步提升性能。如何平衡训练语料的规模与质量、提升模型易用性与安全性、高准度与多维度评价模型真实能力、加速学科知识挖掘工具落地应是未来考虑的关键问题。 展开更多
关键词 情报学 情报工作 预训练语言模型 自然语言处理 PLM
原文传递
基于预训练模型的受控文本生成研究综述 被引量:1
6
作者 周强伟 施水才 王洪俊 《软件导刊》 2024年第4期199-207,共9页
自然语言生成(NLG)作为人工智能的一个分支,近年来随着预训练语言模型(PLMs)的发展取得了显著进展。NLG旨在根据多种输入源(如文本、图像、表格和知识库)生成连贯、有意义的文本。研究者通过架构扩展、微调和提示学习等方法提升了PLMs... 自然语言生成(NLG)作为人工智能的一个分支,近年来随着预训练语言模型(PLMs)的发展取得了显著进展。NLG旨在根据多种输入源(如文本、图像、表格和知识库)生成连贯、有意义的文本。研究者通过架构扩展、微调和提示学习等方法提升了PLMs的性能。然而,NLG在处理非结构化输入和低资源语言生成方面仍面临挑战,尤其是在缺乏足够训练数据的环境中。为探讨NLG的最新发展、应用前景以及所面临的挑战,通过文献分析,提出PLMs性能改进策略,并展望未来研究方向。研究表明,尽管存在诸多限制,但NLG在内容创作、自动新闻报导、对话系统等领域已展现出潜力。随着技术的不断进步,NLG在自然语言处理和人工智能领域将扮演更重要的角色。 展开更多
关键词 人工智能 自然语言生成 受控文本生成 预训练语言模型 提示学习
下载PDF
科技文献研究问题句识别方法研究 被引量:3
7
作者 李雪思 张智雄 +1 位作者 刘熠 王宇飞 《图书情报工作》 北大核心 2023年第9期132-140,共9页
[目的/意义]科技文献是记录科学问题提出和求解过程的重要载体,其中的研究问题句对于揭示科学问题具体内容、把握文章的研究主题具有重要作用。自动识别科技文献研究问题句是科技文本挖掘中一个重要的任务。[方法/过程]针对研究问题句... [目的/意义]科技文献是记录科学问题提出和求解过程的重要载体,其中的研究问题句对于揭示科学问题具体内容、把握文章的研究主题具有重要作用。自动识别科技文献研究问题句是科技文本挖掘中一个重要的任务。[方法/过程]针对研究问题句自动识别,首先提出一种基于迭代的半自动标注策略,结合模型预判的置信度进行人工校对,对研究问题句数据进行标注。在此基础上,采用BERT-CNN的架构设计句子分类模型,该模型引入BERT生成文本向量,并使用CNN提取文本特征,然后通过实验与基准模型进行对比验证了模型的有效性。[结果/结论]基于提出的标注策略构建了大规模规范可用的数据集,经过人工检验准确率达到95%;并在此基础上设计了基于BERT-CNN架构的识别模型,在研究问题句识别任务中F1值达到94.8%。本文的研究为科技文献研究问题的挖掘与分析提供了高质量的数据支持和有效的模型方法。 展开更多
关键词 研究问题句 自动识别 预训练语言模型 深度学习 文本挖掘
原文传递
自然语言处理中关于提示学习的研究进展
8
作者 范森 施水才 王洪俊 《软件导刊》 2024年第4期215-220,共6页
预训练语言模型的出现使处理自然语言处理任务模式发生了巨大变化,对预先训练好的模型进行微调以适应下游任务成为目前自然语言处理任务的主流模式。随着预训练模型越来越大,需要找到轻量化的替代全模型的微调方法,基于提示学习的微调... 预训练语言模型的出现使处理自然语言处理任务模式发生了巨大变化,对预先训练好的模型进行微调以适应下游任务成为目前自然语言处理任务的主流模式。随着预训练模型越来越大,需要找到轻量化的替代全模型的微调方法,基于提示学习的微调方法可以满足这一需求。对提示学习的研究进展进行总结,先描述了预训练语言模型与提示学习的关系,说明现在寻找替代传统微调方法的必要性,然后详细解释了基于提示学习微调模型的步骤,包括对提示模板的构建、答案搜索和答案映射,再对提示学习在自然语言处理领域的应用举例,最后对提示学习面临的挑战和未来可能的研究方向进行展望,以期对自然语言处理、预训练语言模型和提示学习相关领域的研究提供参考借鉴。 展开更多
关键词 提示学习 自然语言处理 微调方法 预训练语言模型 深度学习
下载PDF
预训练模型视角下的跨语言典籍风格计算研究 被引量:2
9
作者 张逸勤 邓三鸿 +1 位作者 胡昊天 王东波 《数据分析与知识发现》 EI CSCD 北大核心 2023年第10期50-62,共13页
【目的】利用预训练语言模型对典籍文本进行风格计算与对比分析,宏观把控跨语言环境下典籍语言风格特征,提升典籍外译质量。【方法】分别应用5种预训练语言模型并对比深度学习模型Bi-LSTM-CRF在《论语》、《道德经》、《礼记》、《尚书... 【目的】利用预训练语言模型对典籍文本进行风格计算与对比分析,宏观把控跨语言环境下典籍语言风格特征,提升典籍外译质量。【方法】分别应用5种预训练语言模型并对比深度学习模型Bi-LSTM-CRF在《论语》、《道德经》、《礼记》、《尚书》和《战国策》所构建的跨语言典籍古汉英语料库上的分词词性标注性能,基于预训练模型的最优训练结果完成对语料库中所有古汉语典籍的分词与词性标注,在这基础上进行对古汉语典籍及其对应的白话文和英文翻译在词汇层面的语言风格分析,包括词性、词汇长度、词汇多样性和密度的比较和总结。【结果】SikuBERT预训练语言模型对典籍词汇识别准确率、召回率、调和平均值F1达到91.29%、91.76%和91.52%,现代汉语译文较典籍原文词汇表意指代更为明确、词组功能相对单一、词汇组合方式更为多样,而英文译文存在翻译简化的现象。【局限】因数据抽样偏差,仅选取了特定的先秦典籍文本与译本,结论扩展到其他领域文本的有效性需进一步验证。【结论】本研究验证了预训练语言模型SikuBERT对典籍语言风格挖掘研究的可行性,深入分析典籍文本语言风格差异,为提升古代汉语翻译质量与促进中国优秀典籍跨文化传播奠定了研究基础。 展开更多
关键词 预训练语言模型 语言风格 数字人文 典籍文本
原文传递
大型预训练语言模型基础逻辑能力测评研究
10
作者 倪睿康 肖达 高鹏 《曲阜师范大学学报(自然科学版)》 CAS 2024年第3期89-95,共7页
针对数量问题、集合关系、量词问题和常识推理等4类基本逻辑推理问题,构建少样本学习模板,对数据集进行自动生成扩展,设计了11个逻辑推理子任务.采用语境学习和提示微调2种少样本学习方法,从模型、测试、任务3个维度测试了GPT-Neo-1.3B... 针对数量问题、集合关系、量词问题和常识推理等4类基本逻辑推理问题,构建少样本学习模板,对数据集进行自动生成扩展,设计了11个逻辑推理子任务.采用语境学习和提示微调2种少样本学习方法,从模型、测试、任务3个维度测试了GPT-Neo-1.3B、GPT-J-6B、GPT-3-Curie、GPT-3-Davinci等模型的逻辑推理能力.结果表明,GPT-3模型在数量问题、量词问题和常识推理问题方面相对优秀,GPT-Neo与GPT-J模型在集合关系问题上更具优势.相较于语境学习,对预训练模型进行提示微调能显著提升预测能力. 展开更多
关键词 自然语言处理 预训练语言模型 语境学习 提示微调 少样本学习
下载PDF
融合词汇边界信息的合同实体识别方法
11
作者 王浩畅 和婷婷 郑冠彧 《计算机工程与设计》 北大核心 2024年第6期1757-1763,共7页
针对合同中实体表达形式复杂多变、识别粒度细的特点,及合同文本中实体较长问题,提出一种融合词汇边界信息的合同实体识别方法。利用预训练语言模型动态生成语义向量作为模型输入;运用相对位置编码对Transformer结构进行改进,使其在编... 针对合同中实体表达形式复杂多变、识别粒度细的特点,及合同文本中实体较长问题,提出一种融合词汇边界信息的合同实体识别方法。利用预训练语言模型动态生成语义向量作为模型输入;运用相对位置编码对Transformer结构进行改进,使其在编码过程中融合词汇信息,进一步丰富语义特征;通过条件随机场(CRF)结构进行解码,得到输入序列的标签预测。实验结果表明,该方法可以有效确定合同文本中的实体边界,具有良好的泛化性能。 展开更多
关键词 实体识别 合同文本 预训练语言模型 相对位置编码 转换器结构 词汇边界信息 条件随机场
下载PDF
基于预训练语言模型的古籍文本智能补全研究
12
作者 李嘉俊 明灿 +5 位作者 郭志浩 钱铁云 彭智勇 王晓光 李旭晖 李静 《数据分析与知识发现》 EI CSCD 北大核心 2024年第5期59-67,共9页
【目的】为古籍补全任务提供一种基于预训练语言模型的新方法,利用不同语义层次和简繁体预训练语言模型获得的表示,构建混合专家系统和简繁融合模型实现古籍补全。【方法】针对传世文献和出土文献分别设计基于混合专家系统的模型和简繁... 【目的】为古籍补全任务提供一种基于预训练语言模型的新方法,利用不同语义层次和简繁体预训练语言模型获得的表示,构建混合专家系统和简繁融合模型实现古籍补全。【方法】针对传世文献和出土文献分别设计基于混合专家系统的模型和简繁融合模型,在不同场景下充分融合与挖掘模型能力,进一步提升模型古籍补全的能力。【结果】使用自行构建的传世文献数据集以及出土文献数据集,补全任务的准确率分别达到70.14%和57.13%。【局限】只从自然语言处理角度出发,未来可以利用多模态技术,计算机视觉与自然语言处理相结合,整合图像信息和语义信息两个维度,可能会有更好的效果。【结论】在构建的传世文献和出土文献数据集上进行验证,达到较高的准确率,为古籍补全任务提供了一种具有竞争力的解决思路。 展开更多
关键词 古籍数字化 预训练语言模型 混合专家系统
原文传递
消费者满意度研究:一种基于在线评论词向量的分析框架
13
作者 樊宇 任敏慧 张健 《系统科学与数学》 CSCD 北大核心 2024年第6期1570-1585,共16页
消费者满意度水平对企业生产运营至关重要,基于在线评论词向量,构建一种面向消费者满意度研究的分析框架SAFCS.基于BERT词向量,根据对比注意力从在线评论中选择重要名词,并利用UMAP-PCA法进行降维,聚类后获得相应领域消费者满意度维度;... 消费者满意度水平对企业生产运营至关重要,基于在线评论词向量,构建一种面向消费者满意度研究的分析框架SAFCS.基于BERT词向量,根据对比注意力从在线评论中选择重要名词,并利用UMAP-PCA法进行降维,聚类后获得相应领域消费者满意度维度;通过依存句法分析获得在线评论中的属性-观点短语,采用预训练语言模型实现属性-观点短语情感分类.采用AT,GRN,LN,TB 4个服装品牌的评论数据进行实验分析,结果表明,消费者对各维度关注度具有明显特点,同时,相较于消极评论,消费者在发表积极评论时更倾向于进行综合性评价.最后结合研究结果,为各品牌的生产运营策略选择提出相应建议. 展开更多
关键词 在线评论 消费者满意度 预训练语言模型 BERT词向量 依存句法分析
原文传递
嵌入式静态知识图谱补全研究进展
14
作者 吴玉洁 奚雪峰 崔志明 《计算机工程与应用》 CSCD 北大核心 2024年第12期34-47,共14页
知识图谱是一种应用广泛且语义丰富的数据表示形式,日益成为知识工程领域的重要技术。但是由于现实世界中的知识图谱往往存在不完整和含糊的信息,阻碍了知识图谱应用性能。知识图谱补全技术旨在通过预测缺失的实体或关系来丰富知识图谱... 知识图谱是一种应用广泛且语义丰富的数据表示形式,日益成为知识工程领域的重要技术。但是由于现实世界中的知识图谱往往存在不完整和含糊的信息,阻碍了知识图谱应用性能。知识图谱补全技术旨在通过预测缺失的实体或关系来丰富知识图谱的内容,是近年来研究的热点,特别是在知识图谱补全任务中采用嵌入式方法取得了显著进展。回顾近年来嵌入式静态知识图谱补全方法,从空间平移、张量分解、神经网络模型、预训练语言模型等角度开展分类探讨。这些方法通过将实体关系嵌入到连续向量空间中,实现了更好的语义表示和推理能力;同时,在捕捉实体间复杂关系、利用图结构信息等方面具有潜在优势。 展开更多
关键词 知识图谱嵌入 知识图谱补全 预训练语言模型
下载PDF
预训练模型在“你选书,我买单”计算机系统中的应用
15
作者 谢敏明 《无线互联科技》 2024年第11期67-71,共5页
为了解决图书馆“你选书,我买单”计算机系统购书审核存在的问题,文章提出引入人工智能深度学习方法,在原有计算机系统中加入购书审核模型。文章基于预训练模型BERTbase模型、BERT-wwm模型和Xlnet模型,构建“你选书,我买单”购书审核模... 为了解决图书馆“你选书,我买单”计算机系统购书审核存在的问题,文章提出引入人工智能深度学习方法,在原有计算机系统中加入购书审核模型。文章基于预训练模型BERTbase模型、BERT-wwm模型和Xlnet模型,构建“你选书,我买单”购书审核模型,微调训练这3个模型,计算3个模型验证结果,并对3个模型进行了比较。结果表明,BERTbase模型、BERT-wwm模型和Xlnet模型验证结果Accuracy、Precision、Recall和F1值达到设计要求,其中BERT-wwm模型和Xlnet模型各项评价指标都高于BERTbase模型。 展开更多
关键词 图书馆 人工智能 预训练模型
下载PDF
基于边界感知的工业设备故障命名实体识别方法
16
作者 葛卫京 刘晓丽 杜亚峰 《计算机应用与软件》 北大核心 2024年第6期237-242,249,共7页
命名实体识别在识别工业设备故障方面发挥关键作用,有助于故障预测、维护管理和智能决策。针对工业设备故障数据中存在的嵌套结构和长跨度问题,提出一种边界感知的实体识别方法。该方法通过边界感知精准定位实体跨距,并结合类别预测判... 命名实体识别在识别工业设备故障方面发挥关键作用,有助于故障预测、维护管理和智能决策。针对工业设备故障数据中存在的嵌套结构和长跨度问题,提出一种边界感知的实体识别方法。该方法通过边界感知精准定位实体跨距,并结合类别预测判断实体跨距的所属类别,以提高识别性能。此外,为解决标注数据的缺乏的问题,还构建面向工业设备故障的实体识别数据集。实验结果证明了该方法在工业设备故障实体识别方面的有效性,并为后续数据分析和知识图谱的构建提供了坚实基础。 展开更多
关键词 命名实体识别 预训练语言模型 工业设备 故障信息
下载PDF
东北亚舆情文本细粒度命名实体识别方法研究
17
作者 隗昊 刁宏悦 +1 位作者 孔亮宸 邓耀臣 《计算机工程》 CAS CSCD 北大核心 2024年第5期354-362,共9页
东北亚地区的国际形势变化与中国的发展密切相关,面向该地区构建舆情信息知识图谱可以有效地监测舆情热点,这不仅能够引导社会舆论健康发展及协助政府决策,而且对防范政治营销、提升国家语言能力、构建和谐稳定国际关系具有重大价值。... 东北亚地区的国际形势变化与中国的发展密切相关,面向该地区构建舆情信息知识图谱可以有效地监测舆情热点,这不仅能够引导社会舆论健康发展及协助政府决策,而且对防范政治营销、提升国家语言能力、构建和谐稳定国际关系具有重大价值。命名实体识别是构建知识图谱的关键技术和核心任务,受到研究者广泛的关注。以社交媒体、门户网站与东北亚地区相关的实时热点舆情文本作为数据源,充分考虑到东北亚地区的区域特点和地缘结构,建立包含10个大类、35个子类的细粒度命名实体识别数据集,并提出基于预训练语言模型Ro BERTa和多层残差BiL STM-CRF架构(Ro BERTa-Res BiLSTM-CRF)的舆情实体识别模型,同时在模型完成标签预测后设计基于规则模板的后处理策略,以提高整体的实体识别性能。实验结果表明,所提出的舆情命名实体识别模型的性能优于主流的传统神经网络模型,验证了该方法的有效性。 展开更多
关键词 细粒度 命名实体识别 舆情文本 深度学习 预训练语言模型
下载PDF
基于文本挖掘的监护仪故障诊断研究
18
作者 贺祥飞 张和华 +4 位作者 黄靖 赵德春 李洋 聂瑞 刘相花 《生物医学工程学杂志》 EI CAS 北大核心 2024年第1期168-176,共9页
传统监护仪故障诊断多依赖人工经验,诊断效率较低且故障维修文本数据未得到有效利用。针对以上问题,本文提出一种基于多特征文本表示以及改进的双向门控循环神经元网络(BiGRU)和注意力机制的监护仪故障智能诊断方法。首先,对文本进行预... 传统监护仪故障诊断多依赖人工经验,诊断效率较低且故障维修文本数据未得到有效利用。针对以上问题,本文提出一种基于多特征文本表示以及改进的双向门控循环神经元网络(BiGRU)和注意力机制的监护仪故障智能诊断方法。首先,对文本进行预处理,采用基于转换器(Transformer)的语言激励双向编码器表示生成含有多种语言学特征的词向量;然后,通过改进的BiGRU和注意力机制对双向故障特征分别进行提取并加权;最后,使用加权损失函数降低类别不平衡对模型的影响。为证实所提方法的有效性,本文使用监护仪故障数据集进行验证,总体宏F1值达到91.11%。该结果表明,本文所建模型可实现故障文本的自动分类,或可为今后监护仪故障智能诊断提供辅助决策支持。 展开更多
关键词 监护仪 故障诊断 文本挖掘 预训练语言模型 注意力机制
原文传递
基于情感可控文本生成的可解释推荐系统 被引量:1
19
作者 邬俊 刘林 +1 位作者 卢香葵 罗芳媛 《闽南师范大学学报(自然科学版)》 2023年第4期24-34,共11页
文本生成是实现可解释推荐系统的有效技术途径之一,有利于提升用户对平台的满意度和信任感.然而,现有方法忽略了用户历史评论与目标物品之间的情感一致性问题,使得所生成的解释文本差强人意.以电商推荐场景为例,提出一种基于情感可控文... 文本生成是实现可解释推荐系统的有效技术途径之一,有利于提升用户对平台的满意度和信任感.然而,现有方法忽略了用户历史评论与目标物品之间的情感一致性问题,使得所生成的解释文本差强人意.以电商推荐场景为例,提出一种基于情感可控文本生成的可解释推荐框架.该框架由评分回归模型与解释生成模型串联而成,前者输出的预估评分作为情感查询,用于辅助后者从历史评论中甄选出情感一致的评论语料,并产生情感可控的解释文本.通过建立多任务联合学习机制,实现了评分回归模型与解释生成模型之间的双向互通和协同优化.四个电商场景下的实验结果表明,所提出方法在评分预测精度和文本生成质量两类指标上均具有显著的性能优势. 展开更多
关键词 可解释推荐系统 情感可控文本生成 评分回归 预训练语言模型
下载PDF
门控机制融合多种特征的中文事件共指消解 被引量:1
20
作者 环志刚 蒋国权 +2 位作者 张玉健 刘浏 刘姗姗 《计算机科学》 CSCD 北大核心 2023年第3期291-297,共7页
事件共指消解是很多自然语言处理任务的基础,旨在识别文本中指代相同真实事件的事件提及。由于中文语法相比英文更复杂,捕获英文文本特征的方法在中文事件共指消解中效果并不明显。为解决文档内中文事件共指,提出了一种门控机制神经网络... 事件共指消解是很多自然语言处理任务的基础,旨在识别文本中指代相同真实事件的事件提及。由于中文语法相比英文更复杂,捕获英文文本特征的方法在中文事件共指消解中效果并不明显。为解决文档内中文事件共指,提出了一种门控机制神经网络(Gated Mechanism Neural Network, GMNN)。针对中文具有主语省略、结构松散等特点,引入事件基本属性作为符号特征。在此基础上,提出了一种新的门控去噪机制,对符号特征向量进行微调,过滤符号特征中的噪声,提取在特定上下文语境中的有用信息,进而提高共指事件的识别率。在ACE2005中文数据集上进行了实验,结果表明,GMNN的AVG分数提升了2.66,有效地提高了中文事件共指消解的效果。 展开更多
关键词 中文事件共指消解 门控机制 神经网络 预训练语言模型 符号特征
下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部