针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用BERT(b...针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分.实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于BERT-BiLSTM的短文本自动评分模型所获的二次加权kappa系数平均值最优.展开更多
研究一种基于新型神经网络结构的自动作文评分模型,该模型包括双层长短时记忆(two-layer long short-term memory,LSTM)神经网络层和注意力机制层,模型输入层的词向量通过word embedding预训练谷歌文本库生成.相较于基于本地文本数据集...研究一种基于新型神经网络结构的自动作文评分模型,该模型包括双层长短时记忆(two-layer long short-term memory,LSTM)神经网络层和注意力机制层,模型输入层的词向量通过word embedding预训练谷歌文本库生成.相较于基于本地文本数据集预训练,预训练谷歌文本库生成的词向量含有更丰富的上下文语义信息及依赖关系;双层长短时记忆网络的下层抽取上下文语义信息及隐藏的上下文依赖关系,上层捕获更深层次的上下文依赖关系;注意力机制依据双层长短时记忆网络的输出计算注意力概率,以突出关键信息在文本中的重要程度.模型所使用数据集由Hewlett基金提供,并以二次加权kappa系数作为模型的评估指标.实验结果表明,对比其他基准模型(如双向LSTM模型和SKIPFLOW-LSTM模型等),基于注意力机制的双层LSTM模型所获二次加权kappa系数平均值最好.展开更多
文摘针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分.实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于BERT-BiLSTM的短文本自动评分模型所获的二次加权kappa系数平均值最优.
文摘研究一种基于新型神经网络结构的自动作文评分模型,该模型包括双层长短时记忆(two-layer long short-term memory,LSTM)神经网络层和注意力机制层,模型输入层的词向量通过word embedding预训练谷歌文本库生成.相较于基于本地文本数据集预训练,预训练谷歌文本库生成的词向量含有更丰富的上下文语义信息及依赖关系;双层长短时记忆网络的下层抽取上下文语义信息及隐藏的上下文依赖关系,上层捕获更深层次的上下文依赖关系;注意力机制依据双层长短时记忆网络的输出计算注意力概率,以突出关键信息在文本中的重要程度.模型所使用数据集由Hewlett基金提供,并以二次加权kappa系数作为模型的评估指标.实验结果表明,对比其他基准模型(如双向LSTM模型和SKIPFLOW-LSTM模型等),基于注意力机制的双层LSTM模型所获二次加权kappa系数平均值最好.
