为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型。首先,对预训练模型(Bidirectional Encoder Represen...为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型。首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类。同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证。实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66%,在SST-5数据集上的最高准确率为53.30%,验证了Bert-BiR-A模型的有效性。展开更多
文摘为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型。首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类。同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证。实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66%,在SST-5数据集上的最高准确率为53.30%,验证了Bert-BiR-A模型的有效性。
