长短期记忆神经网络(long short term memory,LSTM)在文本情感分类的准确率方面拥有优秀的表现,能够解决基于长文本序列的模型训练过程中的梯度消失和梯度爆炸等问题。针对传统的LSTM分类模型不能突出体现输出的某个词语对分类类别的贡...长短期记忆神经网络(long short term memory,LSTM)在文本情感分类的准确率方面拥有优秀的表现,能够解决基于长文本序列的模型训练过程中的梯度消失和梯度爆炸等问题。针对传统的LSTM分类模型不能突出体现输出的某个词语对分类类别的贡献程度和重要性的现象,在循环神经网络(RNN)变体长短期记忆人工神经网络(LSTM)隐藏层和输出层之间引入注意力机制,其主要目的是在模型做最后的极性分类预测时,在重要的句子成分加上权重,加大了对最后分类的预测概率的影响因素。实验证明LSTM与注意力机制的融合可突出模型产生动态变化的背景向量以表现出不同输入词语对于输出词语分类的重要性,从而有效提高了分类速率和准确率。展开更多
文摘长短期记忆神经网络(long short term memory,LSTM)在文本情感分类的准确率方面拥有优秀的表现,能够解决基于长文本序列的模型训练过程中的梯度消失和梯度爆炸等问题。针对传统的LSTM分类模型不能突出体现输出的某个词语对分类类别的贡献程度和重要性的现象,在循环神经网络(RNN)变体长短期记忆人工神经网络(LSTM)隐藏层和输出层之间引入注意力机制,其主要目的是在模型做最后的极性分类预测时,在重要的句子成分加上权重,加大了对最后分类的预测概率的影响因素。实验证明LSTM与注意力机制的融合可突出模型产生动态变化的背景向量以表现出不同输入词语对于输出词语分类的重要性,从而有效提高了分类速率和准确率。
