在自然语言处理领域的下游任务中,具有代表性的双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers)BERT呈现出非常出色的性能。为了解决预训练模型的预训练阶段任务和下游任务不一致,利用...在自然语言处理领域的下游任务中,具有代表性的双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers)BERT呈现出非常出色的性能。为了解决预训练模型的预训练阶段任务和下游任务不一致,利用提示学习的修改策略以及自注意力机制的方法,构建新的掩盖训练任务,在官方的中文BERT预训练模型的基础上再训练。这样不仅能运用到预训练任务获得的知识,而且可以针对性的对下游任务上进行提升,最终加强模型的抗干扰能力以及学习效率。研究结果表明:相较RoBERTa和BERT,在数据集THUCNews和TNEWS上这种模型能达更高的分数。展开更多
文摘在自然语言处理领域的下游任务中,具有代表性的双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers)BERT呈现出非常出色的性能。为了解决预训练模型的预训练阶段任务和下游任务不一致,利用提示学习的修改策略以及自注意力机制的方法,构建新的掩盖训练任务,在官方的中文BERT预训练模型的基础上再训练。这样不仅能运用到预训练任务获得的知识,而且可以针对性的对下游任务上进行提升,最终加强模型的抗干扰能力以及学习效率。研究结果表明:相较RoBERTa和BERT,在数据集THUCNews和TNEWS上这种模型能达更高的分数。
