当向机器翻译模型输入序列时,随着序列长度的不断增长,会出现长距离约束即输入输出序列的长度被限制在固定范围内的问题,因此所建模型的能力会受到约束。序列到序列模型(sequence to sequence model)可以解决长距离约束问题,但单纯的序...当向机器翻译模型输入序列时,随着序列长度的不断增长,会出现长距离约束即输入输出序列的长度被限制在固定范围内的问题,因此所建模型的能力会受到约束。序列到序列模型(sequence to sequence model)可以解决长距离约束问题,但单纯的序列到序列模型无法对翻译中要参考词语前后或其他位置的内容来改善翻译质量的行为进行建模。为了弥补该缺陷,提出了注意力机制(attention mechanism)。针对以上问题,报告了机器翻译及部分模型的研究现状,简述了深度学习框架,分析了基于神经网络的机器翻译及注意力机制原理,并对使用PyTorch实现的序列到序列模型及注意力机制进行了研究,通过分析翻译的时间消耗和翻译后的词错率以及评价标准的值来评价模型。最终该模型在英法数据集上取得了一定的效果。展开更多
语音合成是人机交互的核心技术之一,也是中文信息处理领域的一项前沿技术。随着神经网络理论的不断深入,基于神经网络的语音合成技术越来越引起人们的关注。该文通过分析藏文字结构与藏语拼读规则,融合Sequence to Sequence模型和注意...语音合成是人机交互的核心技术之一,也是中文信息处理领域的一项前沿技术。随着神经网络理论的不断深入,基于神经网络的语音合成技术越来越引起人们的关注。该文通过分析藏文字结构与藏语拼读规则,融合Sequence to Sequence模型和注意力机制,研究了基于神经网络的藏语语音合成技术。实验数据表明,该文方法在藏语语音合成上具有良好的性能表现。展开更多
El Nino-Southern Oscillation(ENSO)作为全球年际尺度气候中最强的现象,对人们的生产生活造成了重大的影响,每年相关领域的研究人员都会对来年的ENSO作出预报。本文提出基于深度学习的ENSO预报方法,通过预测区域海平面温度(SST)来反映E...El Nino-Southern Oscillation(ENSO)作为全球年际尺度气候中最强的现象,对人们的生产生活造成了重大的影响,每年相关领域的研究人员都会对来年的ENSO作出预报。本文提出基于深度学习的ENSO预报方法,通过预测区域海平面温度(SST)来反映ENSO现象。本文分别对特征工程与模型设计两个方面进行了研究,最终确定了基于相关性的特征选择方法、利用Prophet构建特征以及基于Attention机制的Sequence to Sequence预报模型。最后,本文以NCEP数据集的Nino3.4区域数据为例,分别使用本文提出的模型与集合预报、数值预报的中间耦合模型(ICM)、Sequence to Sequence模型和长短时记忆(LSTM)网络进行对比,结果表明,本文提出的基于Attention机制的Sequenceto Sequence预报模型在长期预测中的均方根误差(RMSE)比其他方法下降了0.3到0.4,短期预测与其他方法相当,并且区域的RMSE分布稳定。展开更多
随着海上船舶日益增多,海情急剧复杂化,及时准确地预测船舶的下一步动向成为海事监管的迫切需求。针对现有船舶轨迹预测算法提取轨迹特征能力较差、预测精度不高的问题,提出了添加Attention注意力机制的序列到序列船舶轨迹预测算法(sequ...随着海上船舶日益增多,海情急剧复杂化,及时准确地预测船舶的下一步动向成为海事监管的迫切需求。针对现有船舶轨迹预测算法提取轨迹特征能力较差、预测精度不高的问题,提出了添加Attention注意力机制的序列到序列船舶轨迹预测算法(sequence-to-sequence with attention,Seq2Seq-Att)。通过改进Seq2Seq的编码器结构和添加Attention机制,提高模型对轨迹特征的记忆能力,从而提升算法的预测精度。以东海海域的AIS数据为样本训练模型,预测船舶未来一段时间的经度、纬度、航速和航向。实验结果表明,相较于传统算法,该算法的预测精度更高,且均方根误差明显降低,可以为海事监管和智能航行提供依据。展开更多
针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-train...针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-trained transformer for data augmentation,PunishGPT-DA)。设计了惩罚项和超参数α,与负对数似然损失函数共同作用微调GPT-2(generative pre-training 2.0),鼓励模型关注那些预测概率较小但仍然合理的输出;使用基于双向编码器表征模型(bidirectional encoder representation from transformers,BERT)的过滤器过滤语义偏差较大的生成样本。本文方法实现了对训练集16倍扩充,与GPT-2相比,在意图识别、问题分类以及情感分析3个任务上的准确率分别提升了1.1%、4.9%和8.7%。实验结果表明,本文提出的方法能够同时有效地控制一致性和多样性需求,提升下游任务模型的训练性能。展开更多
文摘当向机器翻译模型输入序列时,随着序列长度的不断增长,会出现长距离约束即输入输出序列的长度被限制在固定范围内的问题,因此所建模型的能力会受到约束。序列到序列模型(sequence to sequence model)可以解决长距离约束问题,但单纯的序列到序列模型无法对翻译中要参考词语前后或其他位置的内容来改善翻译质量的行为进行建模。为了弥补该缺陷,提出了注意力机制(attention mechanism)。针对以上问题,报告了机器翻译及部分模型的研究现状,简述了深度学习框架,分析了基于神经网络的机器翻译及注意力机制原理,并对使用PyTorch实现的序列到序列模型及注意力机制进行了研究,通过分析翻译的时间消耗和翻译后的词错率以及评价标准的值来评价模型。最终该模型在英法数据集上取得了一定的效果。
文摘语音合成是人机交互的核心技术之一,也是中文信息处理领域的一项前沿技术。随着神经网络理论的不断深入,基于神经网络的语音合成技术越来越引起人们的关注。该文通过分析藏文字结构与藏语拼读规则,融合Sequence to Sequence模型和注意力机制,研究了基于神经网络的藏语语音合成技术。实验数据表明,该文方法在藏语语音合成上具有良好的性能表现。
文摘El Nino-Southern Oscillation(ENSO)作为全球年际尺度气候中最强的现象,对人们的生产生活造成了重大的影响,每年相关领域的研究人员都会对来年的ENSO作出预报。本文提出基于深度学习的ENSO预报方法,通过预测区域海平面温度(SST)来反映ENSO现象。本文分别对特征工程与模型设计两个方面进行了研究,最终确定了基于相关性的特征选择方法、利用Prophet构建特征以及基于Attention机制的Sequence to Sequence预报模型。最后,本文以NCEP数据集的Nino3.4区域数据为例,分别使用本文提出的模型与集合预报、数值预报的中间耦合模型(ICM)、Sequence to Sequence模型和长短时记忆(LSTM)网络进行对比,结果表明,本文提出的基于Attention机制的Sequenceto Sequence预报模型在长期预测中的均方根误差(RMSE)比其他方法下降了0.3到0.4,短期预测与其他方法相当,并且区域的RMSE分布稳定。
文摘随着海上船舶日益增多,海情急剧复杂化,及时准确地预测船舶的下一步动向成为海事监管的迫切需求。针对现有船舶轨迹预测算法提取轨迹特征能力较差、预测精度不高的问题,提出了添加Attention注意力机制的序列到序列船舶轨迹预测算法(sequence-to-sequence with attention,Seq2Seq-Att)。通过改进Seq2Seq的编码器结构和添加Attention机制,提高模型对轨迹特征的记忆能力,从而提升算法的预测精度。以东海海域的AIS数据为样本训练模型,预测船舶未来一段时间的经度、纬度、航速和航向。实验结果表明,相较于传统算法,该算法的预测精度更高,且均方根误差明显降低,可以为海事监管和智能航行提供依据。
文摘针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-trained transformer for data augmentation,PunishGPT-DA)。设计了惩罚项和超参数α,与负对数似然损失函数共同作用微调GPT-2(generative pre-training 2.0),鼓励模型关注那些预测概率较小但仍然合理的输出;使用基于双向编码器表征模型(bidirectional encoder representation from transformers,BERT)的过滤器过滤语义偏差较大的生成样本。本文方法实现了对训练集16倍扩充,与GPT-2相比,在意图识别、问题分类以及情感分析3个任务上的准确率分别提升了1.1%、4.9%和8.7%。实验结果表明,本文提出的方法能够同时有效地控制一致性和多样性需求,提升下游任务模型的训练性能。
