期刊文献+
共找到334篇文章
< 1 2 17 >
每页显示 20 50 100
基于BERT嵌入的中文命名实体识别方法 被引量:97
1
作者 杨飘 董文永 《计算机工程》 CAS CSCD 北大核心 2020年第4期40-45,52,共7页
在基于神经网络的中文命名实体识别过程中,字的向量化表示是重要步骤,而传统的词向量表示方法只是将字映射为单一向量,无法表征字的多义性.针对该问题,通过嵌入BERT预训练语言模型,构建BERT-BiGRU-CRF模型用于表征语句特征.利用具有双向... 在基于神经网络的中文命名实体识别过程中,字的向量化表示是重要步骤,而传统的词向量表示方法只是将字映射为单一向量,无法表征字的多义性.针对该问题,通过嵌入BERT预训练语言模型,构建BERT-BiGRU-CRF模型用于表征语句特征.利用具有双向Transformer结构的BERT预训练语言模型增强字的语义表示,根据其上下文动态生成语义向量.在此基础上,将字向量序列输入BiGRU-CRF模型中进行训练,包括训练整个模型和固定BERT只训练BiGRU-CRF2种方式.在MSRA语料上的实验结果表明,该模型2种训练方式的F1值分别达到95.43%和94.18%,优于BiGRU-CRF、Radical-BiLSTM-CRF和Lattice-LSTM-CRF模型. 展开更多
关键词 中文命名实体识别 BERT模型 BiGRU模型 训练语言模型 条件随机场
下载PDF
基于BERT的警情文本命名实体识别 被引量:42
2
作者 王月 王孟轩 +1 位作者 张胜 杜渂 《计算机应用》 CSCD 北大核心 2020年第2期535-540,共6页
针对警情领域关键实体信息难以识别的问题,提出一种基于BERT的神经网络模型BERT-BiLSTMAttention-CRF用于识别和提取相关命名实体,且针对不同案由设计了相应的实体标记注规范。该模型使用BERT预训练词向量代替传统Skip-gram和CBOW等方... 针对警情领域关键实体信息难以识别的问题,提出一种基于BERT的神经网络模型BERT-BiLSTMAttention-CRF用于识别和提取相关命名实体,且针对不同案由设计了相应的实体标记注规范。该模型使用BERT预训练词向量代替传统Skip-gram和CBOW等方式训练的静态词向量,提升了词向量的表证能力,同时解决了中文语料采用字向量训练时词语边界的划分问题;还使用注意力机制改进经典的命名实体识别(NER)模型架构BiLSTM-CRF。BERT-BiLSTM-Attention-CRF模型在测试集上的准确率达91%,较CRF++的基准模型提高7%,也高于BiLSTM-CRF模型86%的准确率,其中相关人名、损失金额、处理方式等实体的F1值均高于0.87。 展开更多
关键词 警情文本 命名实体识别 训练语言模型 标注规范 词向量
下载PDF
构建基于科技文献知识的人工智能引擎 被引量:29
3
作者 张智雄 刘欢 于改红 《农业图书情报学报》 2021年第1期16-29,共14页
[目的/意义]如何利用科技文献中的知识对深度学习算法模型进行训练改进,以获取知识、发现知识是情报研究的重要课题。为充分挖掘和利用科技文献中的知识,本文提出构建基于科技文献知识的人工智能引擎的目标。[方法/过程]本文以文献情报... [目的/意义]如何利用科技文献中的知识对深度学习算法模型进行训练改进,以获取知识、发现知识是情报研究的重要课题。为充分挖掘和利用科技文献中的知识,本文提出构建基于科技文献知识的人工智能引擎的目标。[方法/过程]本文以文献情报工作为出发点,立足科技文献是人类知识的最重要载体,探究人工智能取得飞速突破的本质所在,创新性提出了文献情报领域从“科技文献库”转变为“科技知识引擎”的建设思路。[结果/结论]本文论述了中国科学院文献情报中心在构建基于科技文献知识的人工智能(AI)引擎的建设实践,探讨了利用深度学习技术挖掘知识以服务情报研究的方法,以期为学界提供参考。 展开更多
关键词 科技文献 人工智能知识引擎 训练语言模型 微调模型 AI引擎构建实践
下载PDF
基于深度预训练语言模型的文献学科自动分类研究 被引量:29
4
作者 罗鹏程 王一博 王继民 《情报学报》 CSSCI CSCD 北大核心 2020年第10期1046-1059,共14页
为了支撑"一流学科"相关的情报和文献服务,本文探索利用深度预训练语言模型实现文献的教育部一级学科自动分类。通过构建基于BERT和ERNIE的文献学科分类模型,在21个人文社科一级学科近10万条期刊文献数据集上进行实验验证,并... 为了支撑"一流学科"相关的情报和文献服务,本文探索利用深度预训练语言模型实现文献的教育部一级学科自动分类。通过构建基于BERT和ERNIE的文献学科分类模型,在21个人文社科一级学科近10万条期刊文献数据集上进行实验验证,并与传统机器学习方法 (朴素贝叶斯、支持向量机等)、典型深度学习方法 (卷积神经网络、循环神经网络)进行对比分析。结果显示,基于深度预训练语言模型的方法效果最好,其中ERNIE在测试集上的Top 1和Top 2准确率分别可达到75.56%、89.35%;同时使用标题、关键词和摘要作为输入的分类模型效果最优;一些学科的学科独立性强,分类效果好,如体育学F1值高达0.98;另一些学科间交叉性高,分类效果欠佳,如理论经济学和应用经济学的F1值在0.6左右。此外,本文还对学科交叉融合、模型应用场景、分类效果优化做了进一步的探讨。 展开更多
关键词 文献学科分类 深度学习 文本分类 训练语言模型
下载PDF
自然语言处理技术发展 被引量:21
5
作者 王海宁 《中兴通讯技术》 2022年第2期59-64,共6页
基于神经网络和深度学习的预训练语言模型为自然语言处理技术带来了突破性发展。基于自注意力机制的Transformer模型是预训练语言模型的基础。GPT、BERT、XLNet等大规模预训练语言模型均基于Transformer模型进行堆叠和优化。认为目前依... 基于神经网络和深度学习的预训练语言模型为自然语言处理技术带来了突破性发展。基于自注意力机制的Transformer模型是预训练语言模型的基础。GPT、BERT、XLNet等大规模预训练语言模型均基于Transformer模型进行堆叠和优化。认为目前依赖强大算力和海量数据的大规模预训练语言模型存在实用问题,指出轻量预训练语言模型是未来重要的发展方向。 展开更多
关键词 自然语言处理 训练语言模型 TRANSFORMER GPT BERT XLNet 模型优化
下载PDF
基于BERT和BiLSTM-CRF的生物医学命名实体识别 被引量:22
6
作者 许力 李建华 《计算机工程与科学》 CSCD 北大核心 2021年第10期1873-1879,共7页
在生物医学领域,以静态词向量表征语义的命名实体识别方法准确率不高。针对此问题,提出一种将预训练语言模型BERT和BiLSTM相结合应用于生物医学命名实体识别的模型。首先使用BERT进行语义提取生成动态词向量,并加入词性分析、组块分析... 在生物医学领域,以静态词向量表征语义的命名实体识别方法准确率不高。针对此问题,提出一种将预训练语言模型BERT和BiLSTM相结合应用于生物医学命名实体识别的模型。首先使用BERT进行语义提取生成动态词向量,并加入词性分析、组块分析特征提升模型精度;其次,将词向量送入BiLSTM模型进一步训练,以获取上下文特征;最后通过CRF进行序列解码,输出概率最大的结果。该模型在BC4CHEMD、BC5CDR-chem和NCBI-disease数据集上的平均F1值达到了89.45%。实验结果表明,提出的模型有效地提升了生物医学命名实体识别的准确率。 展开更多
关键词 生物医学 命名实体识别 训练语言模型 词性分析 组块分析
下载PDF
基于ALBERT-CRNN的弹幕文本情感分析 被引量:20
7
作者 曾诚 温超东 +2 位作者 孙瑜敏 潘列 何鹏 《郑州大学学报(理学版)》 北大核心 2021年第3期1-8,共8页
提出一种结合ALBERT预训练语言模型与卷积循环神经网络(convolutional recurrent neural network,CRNN)的弹幕文本情感分析模型ALBERT-CRNN。首先使用ALBERT预训练语言模型获取弹幕文本的动态特征表示,使得句子中同一个词在不同上下文... 提出一种结合ALBERT预训练语言模型与卷积循环神经网络(convolutional recurrent neural network,CRNN)的弹幕文本情感分析模型ALBERT-CRNN。首先使用ALBERT预训练语言模型获取弹幕文本的动态特征表示,使得句子中同一个词在不同上下文语境中具有不同的词向量表达;然后利用CRNN对特征进行训练,充分考虑了文本中的局部特征信息和上下文语义关联;最后通过Softmax函数得出弹幕文本的情感极性。在哔哩哔哩、爱奇艺和腾讯视频三个视频平台的弹幕文本数据集上进行实验,结果表明,ALBERT-CRNN模型在三个数据集上的准确率分别达到94.3%、93.5%和94.8%,相比一些传统模型具有更好的效果。 展开更多
关键词 弹幕文本 情感分析 词向量 训练语言模型 卷积循环神经网络
下载PDF
ChatGPT中文信息抽取能力测评——以三种典型的抽取任务为例 被引量:15
8
作者 鲍彤 章成志 《数据分析与知识发现》 CSCD 北大核心 2023年第9期1-11,共11页
【目的】评估ChatGPT在中文命名实体识别、关系抽取以及事件抽取等典型中文信息抽取任务中的性能,分析不同任务和领域ChatGPT的表现差异,给出ChatGPT中文场景下的使用建议。【方法】采用Prompt提示的方式,分别依据精确匹配和宽松匹配两... 【目的】评估ChatGPT在中文命名实体识别、关系抽取以及事件抽取等典型中文信息抽取任务中的性能,分析不同任务和领域ChatGPT的表现差异,给出ChatGPT中文场景下的使用建议。【方法】采用Prompt提示的方式,分别依据精确匹配和宽松匹配两种方式,测评ChatGPT在三个典型信息抽取任务、共7个数据集上的性能:在MSRA、Weibo、Resume和CCKS2019数据集评估ChatGPT的命名实体识别效果,并与GlyceBERT和ERNIE3.0模型对比;在FinRE和SanWen数据集测试ChatGPT与ERNIE3.0 Titan的关系抽取效果;在CCKS2020数据集测试ChatGPT与ERNIE3.0的事件抽取效果。【结果】ChatGPT在命名实体识别任务中的表现不及GlyceBERT和ERNIE3.0模型。在关系抽取任务中,ERNIE3.0 Titan优于ChatGPT。在事件抽取任务中,ChatGPT在宽松匹配下的表现优于ERNIE3.0。【局限】以Prompt提示的方式评估ChatGPT的性能表现存在主观性,不同的Prompt会产生效果差异。【结论】ChatGPT在典型的中文信息抽取任务上的表现还有很大改进空间,用户在使用过程中需选择合适的Prompt和问题。 展开更多
关键词 ChatGPT 信息抽取 中文信息处理 训练语言模型
原文传递
ChatGPT能力分析与未来展望 被引量:12
9
作者 武俊宏 赵阳 宗成庆 《中国科学基金》 CSCD 北大核心 2023年第5期735-742,共8页
近年来,大语言模型的自然语言处理能力不断提升,尤其近期,聊天生成式预训练模型(ChatGPT)所掌握的“渊博知识”和表现出来的强大对话能力成为举世瞩目的热点话题。ChatGPT语言理解能力的真实水平如何?与专用模型相比,其性能表现谁居上风... 近年来,大语言模型的自然语言处理能力不断提升,尤其近期,聊天生成式预训练模型(ChatGPT)所掌握的“渊博知识”和表现出来的强大对话能力成为举世瞩目的热点话题。ChatGPT语言理解能力的真实水平如何?与专用模型相比,其性能表现谁居上风?它是否能够成为整个自然语言处理领域的通用模型而取代其它模型,甚至使所有自然语言处理问题得到彻底解决呢?为了回答上述问题,本文对ChatGPT在多个自然语言处理任务上的性能表现进行了评估和分析。在此基础上,我们讨论了ChatGPT对自然语言处理领域的影响,并对未来的发展进行了展望。 展开更多
关键词 自然语言处理 语言模型 训练语言模型 ChatGPT
原文传递
一种基于金融文本情感分析的股票指数预测新方法 被引量:16
10
作者 许雪晨 田侃 《数量经济技术经济研究》 CSSCI CSCD 北大核心 2021年第12期124-145,共22页
研究目标:探讨如何对媒体报道、公司新闻等非结构化数据进行文本分析,并应用于股票价格波动预测。研究方法:提出一种基于金融文本情感分析的指数预测模型SA-BERT-LSTM,对沪深300指数的涨跌进行预测。研究发现:情感分析特征能够有效提高... 研究目标:探讨如何对媒体报道、公司新闻等非结构化数据进行文本分析,并应用于股票价格波动预测。研究方法:提出一种基于金融文本情感分析的指数预测模型SA-BERT-LSTM,对沪深300指数的涨跌进行预测。研究发现:情感分析特征能够有效提高模型预测的准确率;相比三种对照模型(BP神经网络、支持向量机、XGBoost),SA-BERT-LSTM模型预测精度更高;该模型同样适用于个股价格预测。研究创新:将BERT模型应用到财经新闻情感分析中,将情感特征与股市行情交易数据结合,有效提高了股指趋势预测的准确率。研究价值:本文将文本情感引入金融市场预测领域的尝试,有助于促进人工智能、机器学习在经济学中的研究与应用,为推进国家人工智能战略落地实施提供参考。 展开更多
关键词 情感分析 长短时记忆网络 训练语言模型 股指
原文传递
AIGC助力数字人文研究的实践探索:SikuGPT驱动的古诗词生成研究 被引量:12
11
作者 刘江峰 刘雏菲 +4 位作者 齐月 刘浏 李斌 刘畅 王东波 《情报理论与实践》 北大核心 2023年第5期23-31,共9页
[目的/意义]诗词创作是数字人文领域自然语言生成研究的重要方向,对古诗词遣词造句的版本争议判断、自动诗词问答等具有一定意义,然而当前尚未出现能够自动生成繁体中文古诗词的预训练模型,已有研究着眼于根据使用者需求创作不同风格的... [目的/意义]诗词创作是数字人文领域自然语言生成研究的重要方向,对古诗词遣词造句的版本争议判断、自动诗词问答等具有一定意义,然而当前尚未出现能够自动生成繁体中文古诗词的预训练模型,已有研究着眼于根据使用者需求创作不同风格的简体古诗词。[方法/过程]文章基于CLM使用繁体《四库全书》无标点语料、繁体中文古诗词语料在gpt2-chinese-cluecorpussmall上进行继续预训练构建SikuGPT2、SikuGPT2-poem模型。采用困惑度、BLEU、专家打分、图灵测试等验证模型性能。[结果/结论]实验显示SikuGPT2-poem模型困惑度较低,生成的诗歌BLUE评分较基准模型低0.053左右,在人工打分中较基准模型平均高1.93分。总体而言,文章提出的模型表现优异且通过图灵测试,提出的古汉语生成式系列模型的预训练语料集尚小。模型在古诗生成方面表现较好,但尚不能满足赋、曲等体裁的需要。 展开更多
关键词 四库全书 SikuGPT 训练语言模型 诗歌生成 数字人文
原文传递
结合BERT和特征投影网络的新闻主题文本分类方法 被引量:15
12
作者 张海丰 曾诚 +3 位作者 潘列 郝儒松 温超东 何鹏 《计算机应用》 CSCD 北大核心 2022年第4期1116-1124,共9页
针对新闻主题文本用词缺乏规范、语义模糊、特征稀疏等问题,提出了结合BERT和特征投影网络(FPnet)的新闻主题文本分类方法。该方法包含两种实现方式:方式1将新闻主题文本在BERT模型的输出进行多层全连接层特征提取,并将最终提取到的文... 针对新闻主题文本用词缺乏规范、语义模糊、特征稀疏等问题,提出了结合BERT和特征投影网络(FPnet)的新闻主题文本分类方法。该方法包含两种实现方式:方式1将新闻主题文本在BERT模型的输出进行多层全连接层特征提取,并将最终提取到的文本特征结合特征投影方法进行提纯,从而强化分类效果;方式2在BERT模型内部的隐藏层中融合特征投影网络进行特征投影,从而通过隐藏层特征投影强化提纯分类特征。在今日头条、搜狐新闻、THUCNews-L、THUCNews-S数据集上进行实验,实验结果表明上述两种方式相较于基线BERT方法在准确率、宏平均F1值上均具有更好的表现,准确率最高分别为86.96%、86.17%、94.40%和93.73%,验证了所提方法的可行性和有效性。 展开更多
关键词 训练语言模型 文本分类 新闻主题 BERT 特征投影网络
下载PDF
深度学习驱动的海量人文社会科学学术文献学科分类研究 被引量:12
13
作者 刘江峰 林立涛 +4 位作者 刘畅 何洪旭 吴娜 沈思 王东波 《情报理论与实践》 北大核心 2023年第2期71-81,共11页
[目的/意义]探索不同社会科学学科间差异,支持学科建设、科技检索服务,进一步完善文献学科的分类体系。[方法/过程]基于多种深度学习模型和预训练语言模型构建社会科学文献学科分类器,利用CSSCI目录中的20多个一级学科中近350万篇文献... [目的/意义]探索不同社会科学学科间差异,支持学科建设、科技检索服务,进一步完善文献学科的分类体系。[方法/过程]基于多种深度学习模型和预训练语言模型构建社会科学文献学科分类器,利用CSSCI目录中的20多个一级学科中近350万篇文献构成的数据集进行实验;利用Sentence-BERT输出摘要句子向量并进行层次聚类,根据聚类结果划分学科组,并计算模型对于不同学科组的分类性能以缓和学科交叉的影响;利用模糊准确性指标输出模型对每条记录输出的前N个高概率学科以弥补原有学科分类的局限性。[结果/结论]在“摘要+标题”上使用深度预训练语言模型取得最佳性能;基于层次聚类所得的学科组进行的分类较单一学科性能有所提升;模型的模糊准确性在N=3时能够达到96%。[局限]未考虑从全文文本上获取更丰富的文献学科特征进行自动分类。 展开更多
关键词 文献学科分类 训练语言模型 BERT 跨学科性 Sentence-BERT
原文传递
基于BERT预训练语言模型的电网设备缺陷文本分类 被引量:13
14
作者 田园 原野 +2 位作者 刘海斌 满志博 毛存礼 《南京理工大学学报》 EI CAS CSCD 北大核心 2020年第4期446-453,共8页
电网设备缺陷部位识别是设备故障分析的关键环节。该文提出一种基于预训练语言模型双向Transformers偏码表示(Bidirectional encoder representation from transformers,BERT)的电网设备缺陷文本分类方法。基于BERT预训练语言模型对电... 电网设备缺陷部位识别是设备故障分析的关键环节。该文提出一种基于预训练语言模型双向Transformers偏码表示(Bidirectional encoder representation from transformers,BERT)的电网设备缺陷文本分类方法。基于BERT预训练语言模型对电网设备缺陷部位文本进行预训练生成具有上下文特征的词嵌入(Word embedding)向量作为模型输入,然后,利用双向长短时记忆(Bi-directional long short-term memory)网络对输入的电网设备缺陷文本向量进行双向编码提取表征缺陷文本的语义表征,并通过注意力机制增强电网设备缺陷文本中与缺陷部位相关的领域词汇的语义特征权重,进而得到有助于电网设备缺陷部位分类的语义特征向量。通过模型的归一化层实现电网设备缺陷部位文本分类。在主变压器、SF6真空断路器这两种设备缺陷文本数据集上实验结果表明,提出的方法比基于BiLSTM-Attention模型的F1值分别提升了2.77%和2.95%。 展开更多
关键词 电网设备 训练语言模型 双向长短时记忆网络 双向Transformers偏码表示 注意力机制 缺陷部位 文本分类
下载PDF
基于ALBERT-BGRU-CRF的中文命名实体识别方法 被引量:12
15
作者 李军怀 陈苗苗 +2 位作者 王怀军 崔颖安 张爱华 《计算机工程》 CAS CSCD 北大核心 2022年第6期89-94,106,共7页
命名实体识别是知识图谱构建、搜索引擎、推荐系统等上层自然语言处理任务的重要基础,中文命名实体识别是对一段文本序列中的专有名词或特定命名实体进行标注分类。针对现有中文命名实体识别方法无法有效提取长距离语义信息及解决一词... 命名实体识别是知识图谱构建、搜索引擎、推荐系统等上层自然语言处理任务的重要基础,中文命名实体识别是对一段文本序列中的专有名词或特定命名实体进行标注分类。针对现有中文命名实体识别方法无法有效提取长距离语义信息及解决一词多义的问题,提出一种基于ALBERT-双向门控循环单元(BGRU)-条件随机场(CRF)模型的中文命名实体识别方法。使用ALBERT预训练语言模型对输入文本进行词嵌入获取动态词向量,有效解决了一词多义的问题。采用BGRU提取上下文语义特征进一步理解语义,获取长距离词之间的语义特征。将拼接后的向量输入至CRF层并利用维特比算法解码,降低错误标签输出概率。最终得到实体标注信息,实现中文命名实体识别。实验结果表明,ALBERT-BGRU-CRF模型在MSRA语料库上的中文命名实体识别准确率和召回率分别达到95.16%和94.58%,同时相比于片段神经网络模型和CNN-BiLSTM-CRF模型的F1值提升了4.43和3.78个百分点。 展开更多
关键词 命名实体识别 训练语言模型 双向门控循环单元 条件随机场 词向量 深度学习
下载PDF
ChatGPT对我国语言战略的冲击与应对 被引量:8
16
作者 肖辛格 储小静 刘云 《天津师范大学学报(社会科学版)》 北大核心 2023年第5期65-73,共9页
ChatGPT自发布以来所表现出的优异性能及其可能带来的颠覆性变革,引发了不同学科的广泛讨论。ChatGPT及相关技术同样会对我国语言战略带来影响,如在语言伦理、社会传播、意识形态话语权等方面均将给语言战略带来挑战。为应对这些挑战,必... ChatGPT自发布以来所表现出的优异性能及其可能带来的颠覆性变革,引发了不同学科的广泛讨论。ChatGPT及相关技术同样会对我国语言战略带来影响,如在语言伦理、社会传播、意识形态话语权等方面均将给语言战略带来挑战。为应对这些挑战,必须:(1)语言政策方面,强化顶层设计,建立健全政策体系、风险防控体系,完善立法;(2)语言研究与教学方面,加大语言学基础性理论研究,深化“语言指纹”等语言应用研究,推动语言教育与人工智能的深度融合;(3)自然语言处理技术方面,优化语言资源建设策略及规范,加强对抗性技术研发。 展开更多
关键词 ChatGPT 训练语言模型 语言智能化 语言资源建设 语言伦理
原文传递
基于BERT-PGN模型的中文新闻文本自动摘要生成 被引量:12
17
作者 谭金源 刁宇峰 +1 位作者 祁瑞华 林鸿飞 《计算机应用》 CSCD 北大核心 2021年第1期127-132,共6页
针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合... 针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议(NLPCC2017)单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络(LSTM-attention)等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。 展开更多
关键词 生成式摘要模型 训练语言模型 多维语义特征 指针生成网络 coverage机制
下载PDF
基于双向语义的中文实体关系联合抽取方法 被引量:8
18
作者 禹克强 黄芳 +1 位作者 吴琪 欧阳洋 《计算机工程》 CAS CSCD 北大核心 2023年第1期92-99,112,共9页
现有中文实体关系抽取方法通常利用实体间的单向关系语义特征进行关系抽取,然而仅靠单向语义特征并不能完全利用实体间的语义关系,从而使得实体关系抽取的有效性受到影响。提出一种基于双向语义的中文实体关系联合抽取方法。利用RoBERT... 现有中文实体关系抽取方法通常利用实体间的单向关系语义特征进行关系抽取,然而仅靠单向语义特征并不能完全利用实体间的语义关系,从而使得实体关系抽取的有效性受到影响。提出一种基于双向语义的中文实体关系联合抽取方法。利用RoBERTa预训练模型获取具有上下文信息的文本字向量表征,通过首尾指针标注识别句子中可能存在关系的实体。为了同时利用文本中的双向关系语义信息,将实体分别作为关系中的主体与客体来建立正负关系,并利用两组全连接神经网络构建正负关系映射器,从而对每一个输入实体同时从正关系与负关系的角度构建候选关系三元组。将候选关系三元组分别在正负关系下的概率分布序列与实体位置嵌入特征相结合,以对候选三元组进行判别,从而确定最终的关系三元组。在DuIE数据集上进行对比实验,结果表明,该方法的精确率与召回率优于MultiR、CoType等基线模型,其F1值达到0.805,相较基线模型平均提高了12.8%。 展开更多
关键词 实体关系联合抽取 双向关系语义 正负关系映射 全连接神经网络 训练语言模型
下载PDF
重叠实体关系抽取综述 被引量:11
19
作者 冯钧 张涛 杭婷婷 《计算机工程与应用》 CSCD 北大核心 2022年第1期1-11,共11页
实体关系抽取能够从文本中提取事实知识,是自然语言处理领域中重要的任务。传统关系抽取更加关注于单实体对的关系,但是句子内包含不止一对实体且实体间存在重叠现象,因此重叠实体关系抽取任务具有重大研究价值。任务发展至今,总体可以... 实体关系抽取能够从文本中提取事实知识,是自然语言处理领域中重要的任务。传统关系抽取更加关注于单实体对的关系,但是句子内包含不止一对实体且实体间存在重叠现象,因此重叠实体关系抽取任务具有重大研究价值。任务发展至今,总体可以分为基于序列到序列、基于图和基于预训练语言模型三种方式。基于序列到序列的方式主要以标注策略和复制机制的方法为主,基于图的方式主要以静态图和动态图的方法为主,基于预训练语言模型的方式主要以BERT挖掘潜在语义特征的方法为主。回顾该任务的发展历程,讨论分析每种模型的优势及不足点;结合目前研究的最近动态,对未来的研究方向进行展望。 展开更多
关键词 重叠实体关系抽取 深度学习 图神经网络 训练语言模型
下载PDF
基于PreLM-FT细粒度情感分析的餐饮业用户评论挖掘 被引量:12
20
作者 沈卓 李艳 《数据分析与知识发现》 CSSCI CSCD 北大核心 2020年第4期63-71,共9页
【目的】从大量用户评论中分析用户偏好,发现产品或服务的不足并提供改进依据。【方法】选取大众点评网有关餐饮业的用户评论数据,对大量无监督语料进行预训练;用少量的标签数据微调预训练语言模型;对产品评论中各属性进行情感得分量化... 【目的】从大量用户评论中分析用户偏好,发现产品或服务的不足并提供改进依据。【方法】选取大众点评网有关餐饮业的用户评论数据,对大量无监督语料进行预训练;用少量的标签数据微调预训练语言模型;对产品评论中各属性进行情感得分量化,并结合KANO模型分析用户对产品或服务的偏好。【结果】将餐饮业用户的产品评论数据转化为用户对产品或服务的偏好。【局限】运用KANO模型时,默认将所有用户对产品某属性的偏好视为一致,导致整体偏好分析不准确。【结论】采用PreLM-FT细粒度情感分析,能够在仅有少量标签数据的情境下,将用户评论数据转化为用户偏好得分。 展开更多
关键词 评论挖掘 在线评论 情感分析 训练语言模型
原文传递
上一页 1 2 17 下一页 到第
使用帮助 返回顶部