目前大多数方面级情感分类研究都忽略了方面词的建模,以及方面词与上下文之间的交互信息,并且难以体现语法上与方面词有直接联系上下文单词的重要程度。针对上述问题,提出基于方面词交互(aspect word interaction,AWI)和图卷积网络(grap...目前大多数方面级情感分类研究都忽略了方面词的建模,以及方面词与上下文之间的交互信息,并且难以体现语法上与方面词有直接联系上下文单词的重要程度。针对上述问题,提出基于方面词交互(aspect word interaction,AWI)和图卷积网络(graph convolutional network,GCN)的方面级情感分类模型(AWI-GCN)。使用双向长短期记忆网络(bi-directional long short-term memory,Bi-LSTM)分别提取方面词和上下文的特征;采用GCN根据句法依存树进一步提取与方面词有直接语法联系的上下文情感特征;利用注意力机制学习方面词与上下文的交互信息,同时提取上下文中为方面词情感分类做出重要贡献的情感特征。针对3个公开数据集上的仿真实验结果表明,AWI-GCN模型相比当前代表模型取得了更好的情感分类效果。展开更多
【目的】针对方面情感分类输入类别在不同领域之间差异较大,汽车用户评论文本语义信息不全,语义特征难以提取等问题,提出基于双通道输入的并行双向编码表征(bidirectional encoder representation from transformers,BERT)双向长短期记...【目的】针对方面情感分类输入类别在不同领域之间差异较大,汽车用户评论文本语义信息不全,语义特征难以提取等问题,提出基于双通道输入的并行双向编码表征(bidirectional encoder representation from transformers,BERT)双向长短期记忆多头自注意力模型的方面情感分类方法。【方法】首先采用了方面情感和方面抽取的双重标签进行标注;其次通过并行的方面抽取和方面情感分类任务通道,分别使用BERT、双向长短期记忆网络(bidirectional long and short-term memory networks,Bi-LSTM)及多头注意力机制(multihead self-attention,MHSA)提取更深层次的语义信息及近距离和远距离特征信息;最后采用条件随机场(conditional random field,CRF)分类器和Softmax分类器进行分类。【结果】在相关的汽车用户评论文本数据集和多语言混合数据集上,本研究提出的模型相较于主流的方面情感分类方法,具有同步抽取方面词和判断情感极性的能力,且有效提高了方面词抽取和方面情感分类的准确率和F_(1)值。【结论】本研究提出的模型更有利于汽车销售者分析用户评论,同时对识别用户评论文本的情感极性的研究也有一定的参考价值。展开更多
近年来,随着计算能力的不断提高和网站上大量数据的免费获取,深度学习(deep learning,DL)技术得到广泛应用,对自然语言处理领域产生了巨大的影响,其中BERT(bidirectional encoder representations from transformers,BERT)已在许多自然...近年来,随着计算能力的不断提高和网站上大量数据的免费获取,深度学习(deep learning,DL)技术得到广泛应用,对自然语言处理领域产生了巨大的影响,其中BERT(bidirectional encoder representations from transformers,BERT)已在许多自然语言处理(natural language process,NLP)任务以及其他领域中得到广泛使用。如果将BERT用于基于方面级情感分析(aspect-based sentiment analysis,ABSA)任务,通过检查用户在产品评论中表达的情感类型和情感目标来研究消费者对市场产品的看法,将大大提高产品在未来市场的地位。针对这个问题,提出了并行聚合和分层聚合2个模块,应用于ABSA的2个主要任务:方面级提取(aspect extraction,AE)和方面级情感分类(aspect sentiment classification,ASC)。这些模块利用BERT语言模型的隐藏层来产生输入序列的更深层语义表示,通过并行方式进行聚合并且进行了分类,对选定的每个隐藏层进行预测并计算损失,然后将这些损失求和以产生模型的最终损失。此外,通过使用条件随机字段(conditional random fields,CRF)解决方面级提取问题。经过研究表明,在BERT微调中应用提出的模型,可以提高BERT模型的性能。展开更多
目前基于注意力机制的句子属性情感分类方法由于忽略句子中属性的上下文信息以及单词与属性间的距离特征,从而导致注意力机制难以学习到合适的注意力权重.针对该问题,提出一种基于依存树及距离注意力的句子属性情感分类模型(dependency ...目前基于注意力机制的句子属性情感分类方法由于忽略句子中属性的上下文信息以及单词与属性间的距离特征,从而导致注意力机制难以学习到合适的注意力权重.针对该问题,提出一种基于依存树及距离注意力的句子属性情感分类模型(dependency tree and distance attention, DTDA).首先根据句子的依存树得到包含属性的依存子树,并利用双向GRU学习句子及属性的上下文特征表示;根据句子中单词和属性在依存树中的最短路径确定相应的语法距离及位置权重,同时结合相对距离构造包含语义信息和距离信息的句子特征表示,并进一步利用注意力机制生成属性相关的句子情感特征表示;最后,将句子的上下文信息与属性相关的情感特征表示合并后并通过softmax进行分类输出.实验结果表明:DTDA在国际语义评测SemEval2014的2个基准数据集Laptop和Restaurant上取得与目前最好方法相当的结果.当使用相关领域训练的词向量时,DTDA在Laptop上的精确率为77.01%,在Restaurant上的准确率为81.68%.展开更多
方面级情感分类是一种细粒度的情感分析任务,旨在分类出文本中不同方面的情感。目前,现有方面级情感分类模型存在特征提取层次浅、泛化能力弱等问题。为此,该文提出一种基于融合对抗网络的方面级情感分类模型ASFAN(Aspect-level Sentime...方面级情感分类是一种细粒度的情感分析任务,旨在分类出文本中不同方面的情感。目前,现有方面级情感分类模型存在特征提取层次浅、泛化能力弱等问题。为此,该文提出一种基于融合对抗网络的方面级情感分类模型ASFAN(Aspect-level Sentiment classification model based on Fusion Adversarial Networks)。首先,从数据集中提取文本的方面词、位置、上下文信息表示。其次,将方面词、位置、上下文信息通过BERT编码。最后,通过多头注意力和局部注意力机制提取文本特征,将特征进行融合学习。此外,通过对抗学习算法生成对抗样本,将对抗样本作为一种文本数据增强样本,优化决策边界。实验结果表明,在SemEval 2014的Restaurant、Laptop数据集和ACL-2014的Twitter数据集上,ASFAN的准确率分别达86.54%、79.15%、76.16%,ASFAN对比大多数基线模型性能提升显著。展开更多
文摘目前大多数方面级情感分类研究都忽略了方面词的建模,以及方面词与上下文之间的交互信息,并且难以体现语法上与方面词有直接联系上下文单词的重要程度。针对上述问题,提出基于方面词交互(aspect word interaction,AWI)和图卷积网络(graph convolutional network,GCN)的方面级情感分类模型(AWI-GCN)。使用双向长短期记忆网络(bi-directional long short-term memory,Bi-LSTM)分别提取方面词和上下文的特征;采用GCN根据句法依存树进一步提取与方面词有直接语法联系的上下文情感特征;利用注意力机制学习方面词与上下文的交互信息,同时提取上下文中为方面词情感分类做出重要贡献的情感特征。针对3个公开数据集上的仿真实验结果表明,AWI-GCN模型相比当前代表模型取得了更好的情感分类效果。
文摘【目的】针对方面情感分类输入类别在不同领域之间差异较大,汽车用户评论文本语义信息不全,语义特征难以提取等问题,提出基于双通道输入的并行双向编码表征(bidirectional encoder representation from transformers,BERT)双向长短期记忆多头自注意力模型的方面情感分类方法。【方法】首先采用了方面情感和方面抽取的双重标签进行标注;其次通过并行的方面抽取和方面情感分类任务通道,分别使用BERT、双向长短期记忆网络(bidirectional long and short-term memory networks,Bi-LSTM)及多头注意力机制(multihead self-attention,MHSA)提取更深层次的语义信息及近距离和远距离特征信息;最后采用条件随机场(conditional random field,CRF)分类器和Softmax分类器进行分类。【结果】在相关的汽车用户评论文本数据集和多语言混合数据集上,本研究提出的模型相较于主流的方面情感分类方法,具有同步抽取方面词和判断情感极性的能力,且有效提高了方面词抽取和方面情感分类的准确率和F_(1)值。【结论】本研究提出的模型更有利于汽车销售者分析用户评论,同时对识别用户评论文本的情感极性的研究也有一定的参考价值。
文摘近年来,随着计算能力的不断提高和网站上大量数据的免费获取,深度学习(deep learning,DL)技术得到广泛应用,对自然语言处理领域产生了巨大的影响,其中BERT(bidirectional encoder representations from transformers,BERT)已在许多自然语言处理(natural language process,NLP)任务以及其他领域中得到广泛使用。如果将BERT用于基于方面级情感分析(aspect-based sentiment analysis,ABSA)任务,通过检查用户在产品评论中表达的情感类型和情感目标来研究消费者对市场产品的看法,将大大提高产品在未来市场的地位。针对这个问题,提出了并行聚合和分层聚合2个模块,应用于ABSA的2个主要任务:方面级提取(aspect extraction,AE)和方面级情感分类(aspect sentiment classification,ASC)。这些模块利用BERT语言模型的隐藏层来产生输入序列的更深层语义表示,通过并行方式进行聚合并且进行了分类,对选定的每个隐藏层进行预测并计算损失,然后将这些损失求和以产生模型的最终损失。此外,通过使用条件随机字段(conditional random fields,CRF)解决方面级提取问题。经过研究表明,在BERT微调中应用提出的模型,可以提高BERT模型的性能。
文摘目前基于注意力机制的句子属性情感分类方法由于忽略句子中属性的上下文信息以及单词与属性间的距离特征,从而导致注意力机制难以学习到合适的注意力权重.针对该问题,提出一种基于依存树及距离注意力的句子属性情感分类模型(dependency tree and distance attention, DTDA).首先根据句子的依存树得到包含属性的依存子树,并利用双向GRU学习句子及属性的上下文特征表示;根据句子中单词和属性在依存树中的最短路径确定相应的语法距离及位置权重,同时结合相对距离构造包含语义信息和距离信息的句子特征表示,并进一步利用注意力机制生成属性相关的句子情感特征表示;最后,将句子的上下文信息与属性相关的情感特征表示合并后并通过softmax进行分类输出.实验结果表明:DTDA在国际语义评测SemEval2014的2个基准数据集Laptop和Restaurant上取得与目前最好方法相当的结果.当使用相关领域训练的词向量时,DTDA在Laptop上的精确率为77.01%,在Restaurant上的准确率为81.68%.
文摘方面级情感分类是一种细粒度的情感分析任务,旨在分类出文本中不同方面的情感。目前,现有方面级情感分类模型存在特征提取层次浅、泛化能力弱等问题。为此,该文提出一种基于融合对抗网络的方面级情感分类模型ASFAN(Aspect-level Sentiment classification model based on Fusion Adversarial Networks)。首先,从数据集中提取文本的方面词、位置、上下文信息表示。其次,将方面词、位置、上下文信息通过BERT编码。最后,通过多头注意力和局部注意力机制提取文本特征,将特征进行融合学习。此外,通过对抗学习算法生成对抗样本,将对抗样本作为一种文本数据增强样本,优化决策边界。实验结果表明,在SemEval 2014的Restaurant、Laptop数据集和ACL-2014的Twitter数据集上,ASFAN的准确率分别达86.54%、79.15%、76.16%,ASFAN对比大多数基线模型性能提升显著。
