基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该...基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息。实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性。展开更多
针对现有的研究大多将短序列时间序列预测和长序列时间序列预测分开研究而导致模型在较短的长序列时序预测时精度较低的问题,提出一种较短的长序列时间序列预测模型(SLTSFM)。首先,利用卷积神经网络(CNN)和PBUSM(Probsparse Based on Un...针对现有的研究大多将短序列时间序列预测和长序列时间序列预测分开研究而导致模型在较短的长序列时序预测时精度较低的问题,提出一种较短的长序列时间序列预测模型(SLTSFM)。首先,利用卷积神经网络(CNN)和PBUSM(Probsparse Based on Uniform Selection Mechanism)自注意力机制搭建一个序列到序列(Seq2Seq)结构,用于提取长序列输入的特征;其次,设计“远轻近重”策略将多个短序列输入特征提取能力较强的长短时记忆(LSTM)模块提取的各时段数据特征进行重分配;最后,用重分配的特征增强提取的长序列输入特征,提高预测精度并实现时序预测。利用4个公开的时间序列数据集验证模型的有效性。实验结果表明,与综合表现次优的对比模型循环门单元(GRU)相比,SLTSFM的平均绝对误差(MAE)指标在4个数据集上的单变量时序预测分别减小了61.54%、13.48%、0.92%和19.58%,多变量时序预测分别减小了17.01%、18.13%、3.24%和6.73%。由此可见SLTSFM在提升较短的长序列时序预测精度方面的有效性。展开更多
多模态生成式摘要往往采用序列到序列(Seq2Seq)框架,目标函数在字符级别优化模型,根据局部最优解生成单词,忽略了摘要样本全局语义信息,使得摘要与多模态信息产生语义偏差,容易造成事实性错误。针对上述问题,提出一种基于语义相关性分...多模态生成式摘要往往采用序列到序列(Seq2Seq)框架,目标函数在字符级别优化模型,根据局部最优解生成单词,忽略了摘要样本全局语义信息,使得摘要与多模态信息产生语义偏差,容易造成事实性错误。针对上述问题,提出一种基于语义相关性分析的多模态摘要模型。首先,在Seq2Seq框架基础上对多模态摘要进行训练,生成语义多样性的候选摘要;其次,构建基于语义相关性分析的摘要评估器,从全局的角度学习候选摘要之间的语义差异性和真实评价指标ROUGE(Recall-Oriented Understudy for Gisting Evaluation)的排序模式,从而在摘要样本层面优化模型;最后,不依赖参考摘要,利用摘要评估器对候选摘要进行评价,使得选出的摘要与源文本在语义空间中尽可能相似。实验结果表明,在公开数据集MMSS上,相较于MPMSE(Multimodal Pointer-generator via Multimodal Selective Encoding)模型,所提模型在ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别提升了3.17、1.21和2.24个百分点。展开更多
针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-train...针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-trained transformer for data augmentation,PunishGPT-DA)。设计了惩罚项和超参数α,与负对数似然损失函数共同作用微调GPT-2(generative pre-training 2.0),鼓励模型关注那些预测概率较小但仍然合理的输出;使用基于双向编码器表征模型(bidirectional encoder representation from transformers,BERT)的过滤器过滤语义偏差较大的生成样本。本文方法实现了对训练集16倍扩充,与GPT-2相比,在意图识别、问题分类以及情感分析3个任务上的准确率分别提升了1.1%、4.9%和8.7%。实验结果表明,本文提出的方法能够同时有效地控制一致性和多样性需求,提升下游任务模型的训练性能。展开更多
随着海上船舶日益增多,海情急剧复杂化,及时准确地预测船舶的下一步动向成为海事监管的迫切需求。针对现有船舶轨迹预测算法提取轨迹特征能力较差、预测精度不高的问题,提出了添加Attention注意力机制的序列到序列船舶轨迹预测算法(sequ...随着海上船舶日益增多,海情急剧复杂化,及时准确地预测船舶的下一步动向成为海事监管的迫切需求。针对现有船舶轨迹预测算法提取轨迹特征能力较差、预测精度不高的问题,提出了添加Attention注意力机制的序列到序列船舶轨迹预测算法(sequence-to-sequence with attention,Seq2Seq-Att)。通过改进Seq2Seq的编码器结构和添加Attention机制,提高模型对轨迹特征的记忆能力,从而提升算法的预测精度。以东海海域的AIS数据为样本训练模型,预测船舶未来一段时间的经度、纬度、航速和航向。实验结果表明,相较于传统算法,该算法的预测精度更高,且均方根误差明显降低,可以为海事监管和智能航行提供依据。展开更多
文摘基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息。实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性。
文摘针对现有的研究大多将短序列时间序列预测和长序列时间序列预测分开研究而导致模型在较短的长序列时序预测时精度较低的问题,提出一种较短的长序列时间序列预测模型(SLTSFM)。首先,利用卷积神经网络(CNN)和PBUSM(Probsparse Based on Uniform Selection Mechanism)自注意力机制搭建一个序列到序列(Seq2Seq)结构,用于提取长序列输入的特征;其次,设计“远轻近重”策略将多个短序列输入特征提取能力较强的长短时记忆(LSTM)模块提取的各时段数据特征进行重分配;最后,用重分配的特征增强提取的长序列输入特征,提高预测精度并实现时序预测。利用4个公开的时间序列数据集验证模型的有效性。实验结果表明,与综合表现次优的对比模型循环门单元(GRU)相比,SLTSFM的平均绝对误差(MAE)指标在4个数据集上的单变量时序预测分别减小了61.54%、13.48%、0.92%和19.58%,多变量时序预测分别减小了17.01%、18.13%、3.24%和6.73%。由此可见SLTSFM在提升较短的长序列时序预测精度方面的有效性。
文摘多模态生成式摘要往往采用序列到序列(Seq2Seq)框架,目标函数在字符级别优化模型,根据局部最优解生成单词,忽略了摘要样本全局语义信息,使得摘要与多模态信息产生语义偏差,容易造成事实性错误。针对上述问题,提出一种基于语义相关性分析的多模态摘要模型。首先,在Seq2Seq框架基础上对多模态摘要进行训练,生成语义多样性的候选摘要;其次,构建基于语义相关性分析的摘要评估器,从全局的角度学习候选摘要之间的语义差异性和真实评价指标ROUGE(Recall-Oriented Understudy for Gisting Evaluation)的排序模式,从而在摘要样本层面优化模型;最后,不依赖参考摘要,利用摘要评估器对候选摘要进行评价,使得选出的摘要与源文本在语义空间中尽可能相似。实验结果表明,在公开数据集MMSS上,相较于MPMSE(Multimodal Pointer-generator via Multimodal Selective Encoding)模型,所提模型在ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别提升了3.17、1.21和2.24个百分点。
文摘针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-trained transformer for data augmentation,PunishGPT-DA)。设计了惩罚项和超参数α,与负对数似然损失函数共同作用微调GPT-2(generative pre-training 2.0),鼓励模型关注那些预测概率较小但仍然合理的输出;使用基于双向编码器表征模型(bidirectional encoder representation from transformers,BERT)的过滤器过滤语义偏差较大的生成样本。本文方法实现了对训练集16倍扩充,与GPT-2相比,在意图识别、问题分类以及情感分析3个任务上的准确率分别提升了1.1%、4.9%和8.7%。实验结果表明,本文提出的方法能够同时有效地控制一致性和多样性需求,提升下游任务模型的训练性能。
文摘随着海上船舶日益增多,海情急剧复杂化,及时准确地预测船舶的下一步动向成为海事监管的迫切需求。针对现有船舶轨迹预测算法提取轨迹特征能力较差、预测精度不高的问题,提出了添加Attention注意力机制的序列到序列船舶轨迹预测算法(sequence-to-sequence with attention,Seq2Seq-Att)。通过改进Seq2Seq的编码器结构和添加Attention机制,提高模型对轨迹特征的记忆能力,从而提升算法的预测精度。以东海海域的AIS数据为样本训练模型,预测船舶未来一段时间的经度、纬度、航速和航向。实验结果表明,相较于传统算法,该算法的预测精度更高,且均方根误差明显降低,可以为海事监管和智能航行提供依据。
