自然语言生成(Natural Language Generation,NLG)任务是自然语言处理(Natural Languge Processing,NLP)任务中的一个子类,并且是一项具有挑战性的任务。随着深度学习在自然语言处理中的大量应用,其已经变成自然语言生成中处理各种任务...自然语言生成(Natural Language Generation,NLG)任务是自然语言处理(Natural Languge Processing,NLP)任务中的一个子类,并且是一项具有挑战性的任务。随着深度学习在自然语言处理中的大量应用,其已经变成自然语言生成中处理各种任务的主要方法。自然语言生成任务中主要有问答任务、生成摘要任务、生成评论任务、机器翻译任务、生成式对话任务等。传统的生成模型依赖输入文本,基于有限的知识生成文本。为解决这个问题,引入了知识增强的方法。首先介绍了自然语言生成的研究背景和重要模型,然后针对自然语言处理归纳介绍了提高模型性能的方法,以及基于内部知识(如提取关键词增强生成、围绕主题词等)和外部知识(如借助外部知识图谱增强生成)集成到文本生成过程中的方法和架构。最后,通过分析生成任务面临的一些问题,讨论了未来的挑战和研究方向。展开更多
为解决知识图谱推荐方法中存在的忽略用户个人信息,或将用户和项目采用相同注意力机制,致使用户和项目的潜在语义表达不充分的问题,提出了一种知识增强的双注意力机制推荐方法。采用交叉压缩融合单元获取用户个人信息和交互历史的潜在特...为解决知识图谱推荐方法中存在的忽略用户个人信息,或将用户和项目采用相同注意力机制,致使用户和项目的潜在语义表达不充分的问题,提出了一种知识增强的双注意力机制推荐方法。采用交叉压缩融合单元获取用户个人信息和交互历史的潜在特征,以增强用户特征表示;使用不同注意力机制关注用户和项目的重要邻居,以增强知识图谱中的结构信息和语义信息表示。为了验证方法的有效性,在MovieLens-1M、MovieLens-20M、Book-Crossing和Last. FM这4个数据集上进行实验,并与RippletNet、KGAT、CKAN等6种方法进行对比分析。结果表明,本文方法与RippletNet、KGCN、LKGR等方法相比,受试者工作特征曲线下面积(area under the receiver operator characteristic curve,AUC)性能平均提升了5.34%。展开更多
随着自然语言处理技术的发展,文本摘要技术已经被广泛应用在生活的方方面面,在司法领域,文本摘要技术能够帮助司法文本实现“降维”,对迅速了解案件详情,获取案件要素有很大的帮助,促使司法向信息化、智能化发展。但是现有的摘要生成模...随着自然语言处理技术的发展,文本摘要技术已经被广泛应用在生活的方方面面,在司法领域,文本摘要技术能够帮助司法文本实现“降维”,对迅速了解案件详情,获取案件要素有很大的帮助,促使司法向信息化、智能化发展。但是现有的摘要生成模型应用在司法文本上,生成的摘要质量不尽如人意,还存在着生成重复、冗余,与现实情况不相符等问题,特别是当行为人存在多项罪名和多项判罚时,使用常见摘要生成模型生成的摘要会出现罪罚不匹配的情况。为了解决这些问题,提出基于知识增强预训练模型的司法文本摘要生成模型LCSG-ERNIE(legal case summary generation based on enhanced language representation with informative entities),该模型在预训练语言模型中融入司法知识,并结合对比学习的思想生成摘要,提高生成摘要的质量,减少出现的罪罚不匹配情况,最终通过实验证明提出的模型取得较好效果。展开更多
传统的监督异常检测方法快速发展,为了减少对标签的依赖,自监督预训练方法得到了广泛的研究,同时研究表明额外的内在语义知识嵌入对于表格学习至关重要。为了挖掘表格数据当中存在的丰富知识信息,提出了一种基于知识增强的自监督表格数...传统的监督异常检测方法快速发展,为了减少对标签的依赖,自监督预训练方法得到了广泛的研究,同时研究表明额外的内在语义知识嵌入对于表格学习至关重要。为了挖掘表格数据当中存在的丰富知识信息,提出了一种基于知识增强的自监督表格数据异常检测方法(self-supervised tabular data anomaly detection method based on knowledge enhancement,STKE)并进行了改进。提出的数据处理模块将领域知识(语义)、统计数学知识融入到特征构建中,同时自监督预训练(参数学习)提供上下文知识先验,实现表格数据的丰富信息迁移。在原始数据上采用mask机制,通过学习相关的非遮掩特征来学习遮掩特征,同时预测在数据隐层空间加性高斯噪声的原始值。该策略促使模型即使在有噪声输入的情况下也能恢复原始的特征信息。使用混合注意机制有效提取数据特征之间的关联信息。在6个数据集上的实验结果展现了提出的方法优越的性能。展开更多
基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训...基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训练模型在训练集上学习最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在THUCNews、SHNews和Toutiao这3个新闻数据集上进行随机采样,形成小样本训练集和验证集进行实验。实验结果表明,所提方法在上述数据集上的1-shot、5-shot、10-shot和20-shot任务上整体表现有所提升,尤其在1-shot任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.59、2.11和3.10个百分点以上,验证了KPL在小样本新闻主题分类任务上的有效性。展开更多
文摘自然语言生成(Natural Language Generation,NLG)任务是自然语言处理(Natural Languge Processing,NLP)任务中的一个子类,并且是一项具有挑战性的任务。随着深度学习在自然语言处理中的大量应用,其已经变成自然语言生成中处理各种任务的主要方法。自然语言生成任务中主要有问答任务、生成摘要任务、生成评论任务、机器翻译任务、生成式对话任务等。传统的生成模型依赖输入文本,基于有限的知识生成文本。为解决这个问题,引入了知识增强的方法。首先介绍了自然语言生成的研究背景和重要模型,然后针对自然语言处理归纳介绍了提高模型性能的方法,以及基于内部知识(如提取关键词增强生成、围绕主题词等)和外部知识(如借助外部知识图谱增强生成)集成到文本生成过程中的方法和架构。最后,通过分析生成任务面临的一些问题,讨论了未来的挑战和研究方向。
文摘为解决知识图谱推荐方法中存在的忽略用户个人信息,或将用户和项目采用相同注意力机制,致使用户和项目的潜在语义表达不充分的问题,提出了一种知识增强的双注意力机制推荐方法。采用交叉压缩融合单元获取用户个人信息和交互历史的潜在特征,以增强用户特征表示;使用不同注意力机制关注用户和项目的重要邻居,以增强知识图谱中的结构信息和语义信息表示。为了验证方法的有效性,在MovieLens-1M、MovieLens-20M、Book-Crossing和Last. FM这4个数据集上进行实验,并与RippletNet、KGAT、CKAN等6种方法进行对比分析。结果表明,本文方法与RippletNet、KGCN、LKGR等方法相比,受试者工作特征曲线下面积(area under the receiver operator characteristic curve,AUC)性能平均提升了5.34%。
文摘随着自然语言处理技术的发展,文本摘要技术已经被广泛应用在生活的方方面面,在司法领域,文本摘要技术能够帮助司法文本实现“降维”,对迅速了解案件详情,获取案件要素有很大的帮助,促使司法向信息化、智能化发展。但是现有的摘要生成模型应用在司法文本上,生成的摘要质量不尽如人意,还存在着生成重复、冗余,与现实情况不相符等问题,特别是当行为人存在多项罪名和多项判罚时,使用常见摘要生成模型生成的摘要会出现罪罚不匹配的情况。为了解决这些问题,提出基于知识增强预训练模型的司法文本摘要生成模型LCSG-ERNIE(legal case summary generation based on enhanced language representation with informative entities),该模型在预训练语言模型中融入司法知识,并结合对比学习的思想生成摘要,提高生成摘要的质量,减少出现的罪罚不匹配情况,最终通过实验证明提出的模型取得较好效果。
文摘传统的监督异常检测方法快速发展,为了减少对标签的依赖,自监督预训练方法得到了广泛的研究,同时研究表明额外的内在语义知识嵌入对于表格学习至关重要。为了挖掘表格数据当中存在的丰富知识信息,提出了一种基于知识增强的自监督表格数据异常检测方法(self-supervised tabular data anomaly detection method based on knowledge enhancement,STKE)并进行了改进。提出的数据处理模块将领域知识(语义)、统计数学知识融入到特征构建中,同时自监督预训练(参数学习)提供上下文知识先验,实现表格数据的丰富信息迁移。在原始数据上采用mask机制,通过学习相关的非遮掩特征来学习遮掩特征,同时预测在数据隐层空间加性高斯噪声的原始值。该策略促使模型即使在有噪声输入的情况下也能恢复原始的特征信息。使用混合注意机制有效提取数据特征之间的关联信息。在6个数据集上的实验结果展现了提出的方法优越的性能。
文摘基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训练模型在训练集上学习最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在THUCNews、SHNews和Toutiao这3个新闻数据集上进行随机采样,形成小样本训练集和验证集进行实验。实验结果表明,所提方法在上述数据集上的1-shot、5-shot、10-shot和20-shot任务上整体表现有所提升,尤其在1-shot任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.59、2.11和3.10个百分点以上,验证了KPL在小样本新闻主题分类任务上的有效性。
