为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果,针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题,提出了一种基于多注意力机制的B...为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果,针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题,提出了一种基于多注意力机制的BERT分类模型。对BERT模型框架中后四层的每一层输入向量,设计词向量注意力机制,捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层,设计层向量注意力机制,将这四层上由自适应权重计算得到的每一层输出向量进行融合,获得最终的BERT模型输出向量,更好地提升模型的特征抽取能力。在公开数据集IMDB和THUCNews上的实验表明,提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中,该模型也取得了比基线模型更好的效果,较好地解决了电力运维规模预测混乱问题。展开更多
文摘为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果,针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题,提出了一种基于多注意力机制的BERT分类模型。对BERT模型框架中后四层的每一层输入向量,设计词向量注意力机制,捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层,设计层向量注意力机制,将这四层上由自适应权重计算得到的每一层输出向量进行融合,获得最终的BERT模型输出向量,更好地提升模型的特征抽取能力。在公开数据集IMDB和THUCNews上的实验表明,提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中,该模型也取得了比基线模型更好的效果,较好地解决了电力运维规模预测混乱问题。
