针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单...针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单循环单元(Bidirectional Build-in Fast Attention Simple Recurrent Unit,BiFASRU)对上下文进行建模,同时内置快速注意力机制可以捕获词与词之间的依赖关系,得到更为全面的高维情感特征;最后通过注意力机制对情感分析贡献大的词分配更高权重,经分类器得到结果.实验采用中文酒店评论和豆瓣评论数据集,结果表明,ALBERT-BiFASRU-AT模型能够获得更高的F1值,且BiFASRU模型比其他循环模型训练速度更快,证明了该模型的有效性.展开更多
针对现有微博谣言检测算法在实用场景中存在滞后性,以及传统深度学习模型特征提取能力不足等问题,提出了基于RoBERTa-BiSRU++-AT的微博谣言早期检测模型,仅使用微博原始文本作为模型输入,不包含任何转发和评论信息或者其他相关特征信息...针对现有微博谣言检测算法在实用场景中存在滞后性,以及传统深度学习模型特征提取能力不足等问题,提出了基于RoBERTa-BiSRU++-AT的微博谣言早期检测模型,仅使用微博原始文本作为模型输入,不包含任何转发和评论信息或者其他相关特征信息.采用RoBERTa预训练模型学习当前词在特定上下文语境中的动态含义,解决静态词向量无法表示多义词的问题,提升词的语义表征能力;通过双向内置注意力简单循环单元(Simple Recurrent Unit with Built-in Self-Attenttion)进行深层语义特征抽取,自注意力机制可以捕获句子内部词与词之间的依赖关系,得到更为全面的高维特征;引入软注意力机制计算不同词对分类结果的重要程度,赋予模型聚焦关键特征的能力,解决输出特征对分类结果影响力一致的问题;得到的软注意力特征经Softmax层计算得到分类概率,取概率最大值对应标签为分类结果.在公开的中文微博谣言数据集进行实验,实验结果表明,本文所提出的基于RoBERTa-BiSRU++-AT的模型F1分数达到了98.16%,高于实验对比的其他微博谣言检测算法,证明该模型对微博文本谣言具有更好的早期识别能力.展开更多
文摘针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单循环单元(Bidirectional Build-in Fast Attention Simple Recurrent Unit,BiFASRU)对上下文进行建模,同时内置快速注意力机制可以捕获词与词之间的依赖关系,得到更为全面的高维情感特征;最后通过注意力机制对情感分析贡献大的词分配更高权重,经分类器得到结果.实验采用中文酒店评论和豆瓣评论数据集,结果表明,ALBERT-BiFASRU-AT模型能够获得更高的F1值,且BiFASRU模型比其他循环模型训练速度更快,证明了该模型的有效性.
文摘针对现有微博谣言检测算法在实用场景中存在滞后性,以及传统深度学习模型特征提取能力不足等问题,提出了基于RoBERTa-BiSRU++-AT的微博谣言早期检测模型,仅使用微博原始文本作为模型输入,不包含任何转发和评论信息或者其他相关特征信息.采用RoBERTa预训练模型学习当前词在特定上下文语境中的动态含义,解决静态词向量无法表示多义词的问题,提升词的语义表征能力;通过双向内置注意力简单循环单元(Simple Recurrent Unit with Built-in Self-Attenttion)进行深层语义特征抽取,自注意力机制可以捕获句子内部词与词之间的依赖关系,得到更为全面的高维特征;引入软注意力机制计算不同词对分类结果的重要程度,赋予模型聚焦关键特征的能力,解决输出特征对分类结果影响力一致的问题;得到的软注意力特征经Softmax层计算得到分类概率,取概率最大值对应标签为分类结果.在公开的中文微博谣言数据集进行实验,实验结果表明,本文所提出的基于RoBERTa-BiSRU++-AT的模型F1分数达到了98.16%,高于实验对比的其他微博谣言检测算法,证明该模型对微博文本谣言具有更好的早期识别能力.
