数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等...数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等场景。然而,已有研究中对于数据中具体数值、时间等数据信息的推理存在较大缺陷,无法充分利用数据间的结构信息给出合理的生成指引,并且生成过程容易出现语义与句法分离训练的问题。因此,文中提出一种结合Transformer模型与深度神经网络的数据到文本生成方法,并提出一个用于内容规划的Transformer Text Planning(TTP)算法,有效地解决上述问题。在Rotowire公开数据集上进行方法验证,实验结果表明,文中方法性能优于已有数据到文本生成模型,可直接应用于结构化数据到连贯性文本的生成任务中,具有一定的实际应用价值。展开更多
Google Brain提出了一种用于神经机器翻译(NMT)的简单模型Transformer,该模型完全基于注意力机制,避免使用循环神经网路(RNN),解决了RNN无法并行化的问题.本文在Transformer模型的基础上提出了基于词级权重(Word-Level Weights)的模型...Google Brain提出了一种用于神经机器翻译(NMT)的简单模型Transformer,该模型完全基于注意力机制,避免使用循环神经网路(RNN),解决了RNN无法并行化的问题.本文在Transformer模型的基础上提出了基于词级权重(Word-Level Weights)的模型改进方法,即根据不同单词在句子中的重要性通过神经网络自学习所获得相应的权重,将此权重与Transformer模型相结合.该方法提高了Transformer模型的稳定性和准确性,并在IWSLT16翻译任务中提高了模型的BLEU得分.展开更多
针对长时间序列电力负荷的预测精度低的问题,应用了基于Informer长时间序列模型的电力负荷预测方法.该方法通过Informer模型中的自注意力蒸馏机制,使得每层的解码器都将输入序列的长度缩短一半,从而极大地节约了Encoder内存开销,并在编...针对长时间序列电力负荷的预测精度低的问题,应用了基于Informer长时间序列模型的电力负荷预测方法.该方法通过Informer模型中的自注意力蒸馏机制,使得每层的解码器都将输入序列的长度缩短一半,从而极大地节约了Encoder内存开销,并在编码器结构中使用生成式结构,使得预测解码时间极大的缩短;以澳大利亚的电力负荷数据作为测试用例,并与长短时记忆神经网络(long-short term memory,LSTM)和卷积神经网络(convolutional neural network,CNN)模型方法进行对比,结果表明,Informer模型的预测精度更高,Pearson相关系数可以达到91.30%,有效提高了负荷预测精度.展开更多
文摘数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等场景。然而,已有研究中对于数据中具体数值、时间等数据信息的推理存在较大缺陷,无法充分利用数据间的结构信息给出合理的生成指引,并且生成过程容易出现语义与句法分离训练的问题。因此,文中提出一种结合Transformer模型与深度神经网络的数据到文本生成方法,并提出一个用于内容规划的Transformer Text Planning(TTP)算法,有效地解决上述问题。在Rotowire公开数据集上进行方法验证,实验结果表明,文中方法性能优于已有数据到文本生成模型,可直接应用于结构化数据到连贯性文本的生成任务中,具有一定的实际应用价值。
文摘针对长时间序列电力负荷的预测精度低的问题,应用了基于Informer长时间序列模型的电力负荷预测方法.该方法通过Informer模型中的自注意力蒸馏机制,使得每层的解码器都将输入序列的长度缩短一半,从而极大地节约了Encoder内存开销,并在编码器结构中使用生成式结构,使得预测解码时间极大的缩短;以澳大利亚的电力负荷数据作为测试用例,并与长短时记忆神经网络(long-short term memory,LSTM)和卷积神经网络(convolutional neural network,CNN)模型方法进行对比,结果表明,Informer模型的预测精度更高,Pearson相关系数可以达到91.30%,有效提高了负荷预测精度.
