针对农业新闻目前面临的针对性差、分类不清和数据集缺乏等问题,提出一种基于ERNIE(Enhanced Representation through kNowledge IntEgration)、深度金字塔卷积神经网络(DPCNN)和双向门控循环单元(BiGRU)的农业新闻分类模型——EGC。首...针对农业新闻目前面临的针对性差、分类不清和数据集缺乏等问题,提出一种基于ERNIE(Enhanced Representation through kNowledge IntEgration)、深度金字塔卷积神经网络(DPCNN)和双向门控循环单元(BiGRU)的农业新闻分类模型——EGC。首先利用ERNIE对数据集进行编码,然后利用改进后的DPCNN和BiGRU同时提取新闻文本的特征,再将两者提取的特征进行拼合并经过Softmax得到最终结果。为了使EGC模型适用于农业新闻分类领域,对DPCNN进行改进,减少它的卷积层以保留更多特征。实验结果表明,与ERNIE相比,EGC模型的精确率、召回率和F1分数别提升了1.47、1.29和1.42个百分点,优于传统分类模型。展开更多
新闻文本分类是长文本分类的典型问题,因此提取词与词之间的关系特征就尤为重要.提出了基于双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers,BERT)和双向长短时记忆网络(Bi-directional ...新闻文本分类是长文本分类的典型问题,因此提取词与词之间的关系特征就尤为重要.提出了基于双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers,BERT)和双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)以及注意力机制的对抗训练分类模型(BBA-AT).将预处理新闻文本数据经过BERT进行训练得到词嵌入编码,在训练后的词向量级别上进行扰动达到数据增广的效果,以此来进行对抗训练,之后通过双向长短时记忆网络对数据集进行编码提取双向语义表征.本文提出的BBA-AT模型F 1值在TNEWS数据集上比BERT模型提升了1.34%.展开更多
新闻文本分类是自然语言处理领域中一项重要任务,本文使用新闻标题进行文本分类。随着BERT预训练模型的崛起,BERT模型在多项NLP(Natural Language Processing)任务中都取得了较好的效果,并应用在新闻分类任务中。为了提高新闻分类这一...新闻文本分类是自然语言处理领域中一项重要任务,本文使用新闻标题进行文本分类。随着BERT预训练模型的崛起,BERT模型在多项NLP(Natural Language Processing)任务中都取得了较好的效果,并应用在新闻分类任务中。为了提高新闻分类这一主要任务的效果,本文引入辅助任务判断两个新闻是否是同类新闻,对BERT预训练模型在辅助任务和主要任务上进行微调。在THUCNews数据集上进行实验,实验结果表明,引入辅助任务的BERT新闻分类模型在效果上优于原BERT模型。展开更多
文摘针对农业新闻目前面临的针对性差、分类不清和数据集缺乏等问题,提出一种基于ERNIE(Enhanced Representation through kNowledge IntEgration)、深度金字塔卷积神经网络(DPCNN)和双向门控循环单元(BiGRU)的农业新闻分类模型——EGC。首先利用ERNIE对数据集进行编码,然后利用改进后的DPCNN和BiGRU同时提取新闻文本的特征,再将两者提取的特征进行拼合并经过Softmax得到最终结果。为了使EGC模型适用于农业新闻分类领域,对DPCNN进行改进,减少它的卷积层以保留更多特征。实验结果表明,与ERNIE相比,EGC模型的精确率、召回率和F1分数别提升了1.47、1.29和1.42个百分点,优于传统分类模型。
文摘新闻文本分类是长文本分类的典型问题,因此提取词与词之间的关系特征就尤为重要.提出了基于双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers,BERT)和双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)以及注意力机制的对抗训练分类模型(BBA-AT).将预处理新闻文本数据经过BERT进行训练得到词嵌入编码,在训练后的词向量级别上进行扰动达到数据增广的效果,以此来进行对抗训练,之后通过双向长短时记忆网络对数据集进行编码提取双向语义表征.本文提出的BBA-AT模型F 1值在TNEWS数据集上比BERT模型提升了1.34%.
文摘新闻文本分类是自然语言处理领域中一项重要任务,本文使用新闻标题进行文本分类。随着BERT预训练模型的崛起,BERT模型在多项NLP(Natural Language Processing)任务中都取得了较好的效果,并应用在新闻分类任务中。为了提高新闻分类这一主要任务的效果,本文引入辅助任务判断两个新闻是否是同类新闻,对BERT预训练模型在辅助任务和主要任务上进行微调。在THUCNews数据集上进行实验,实验结果表明,引入辅助任务的BERT新闻分类模型在效果上优于原BERT模型。
