-
题名自然语言预训练模型知识增强方法综述
被引量：8
- 1
-
-
作者
孙毅
裘杭萍
郑雨
张超然
郝超
-
机构
陆军工程大学指挥控制工程学院
-
出处
《中文信息学报》
CSCD
北大核心
2021年第7期10-29,共20页
-
基金
国防科技创新特区计划项目(1916311LZ001003)
装备发展部基金项目(6141B08010101)。
-
文摘
将知识引入到依靠数据驱动的人工智能模型中是实现人机混合智能的一种重要途径。当前以BERT为代表的预训练模型在自然语言处理领域取得了显著的成功,但是由于预训练模型大多是在大规模非结构化的语料数据上训练出来的,因此可以通过引入外部知识在一定程度上弥补其在确定性和可解释性上的缺陷。该文针对预训练词嵌入和预训练上下文编码器两个预训练模型的发展阶段,分析了它们的特点和缺陷,阐述了知识增强的相关概念,提出了预训练词嵌入知识增强的分类方法,将其分为四类:词嵌入改造、层次化编解码过程、优化注意力和引入知识记忆。将预训练上下文编码器的知识增强方法分为任务特定和任务通用两大类,并根据引入知识的显隐性对其中任务通用的知识增强方法进行了进一步的细分。该文通过分析预训练模型知识增强方法的类型和特点,为实现人机混合的人工智能提供了模式和算法上的参考依据。
-
关键词
预训练语言模型
知识增强
预训练词嵌入
预训练上下文编码器
-
Keywords
pre-trained language model
knowledge enhancement
pre-trained word embedding
pre-trained contextual encoder
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名文本情绪分析中词嵌入模型对比研究
- 2
-
-
作者
胡琼
李奇
王树军
-
机构
南京工业大学浦江学院
-
出处
《电脑知识与技术》
2021年第36期109-111,共3页
-
基金
南京工业大学浦江学院校级课题(njpj2020-1-05)。
-
文摘
在利用神经网络进行文本情绪分析时,不同的词嵌入会得到不同的判断结果。该文对比了由文本自身建立的基线模型和预训练词嵌入模型GloVe以及FastText的识别效果,通过实验得出了在不同情况下两种类型的识别优劣性。此外,针对两种预训练词嵌入,得出高频词汇的缺失对总体结果无重要影响的结论。
-
关键词
情绪分析
预训练词嵌入
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
