随着预训练语言模型在自然语言处理(NLP)任务上的应用,意图检测(ID)和槽位填充(SF)联合建模提高了口语理解的性能。现有方法大多关注意图和槽位的相互作用,忽略了差异文本序列建模对口语理解(SLU)任务的影响。因此,提出一种基于多任务...随着预训练语言模型在自然语言处理(NLP)任务上的应用,意图检测(ID)和槽位填充(SF)联合建模提高了口语理解的性能。现有方法大多关注意图和槽位的相互作用,忽略了差异文本序列建模对口语理解(SLU)任务的影响。因此,提出一种基于多任务学习的意图检测和槽位填充联合方法(IDSFML)。首先,使用随机掩盖mask策略构造差异文本,设计结合自编码器和注意力机制的神经网络(AEA)结构,为口语理解任务融入差异文本序列的特征;其次,设计相似性分布任务,使差异文本和原始文本的表征相似;最后,联合训练ID、SF和差异文本序列相似性分布三个任务。在航班旅行信息系统(ATIS)和SNIPS数据集上的实验结果表明,IDSFML与表现次优的基线方法SASGBC(Self-Attention and Slot-Gated on top of BERT with CRF)相比,槽位填充F1值分别提升了1.9和1.6个百分点,意图检测准确率分别提升了0.2和0.4个百分点,提高了口语理解任务的准确率。展开更多
口语理解(spoken language understanding,SLU)是面向任务的对话系统的核心组成部分,旨在提取用户查询的语义框架.在对话系统中,口语理解组件(SLU)负责识别用户的请求,并创建总结用户需求的语义框架,SLU通常包括两个子任务:意图检测(int...口语理解(spoken language understanding,SLU)是面向任务的对话系统的核心组成部分,旨在提取用户查询的语义框架.在对话系统中,口语理解组件(SLU)负责识别用户的请求,并创建总结用户需求的语义框架,SLU通常包括两个子任务:意图检测(intent detection,ID)和槽位填充(slot filling,SF).意图检测是一个语义话语分类问题,在句子层面分析话语的语义;槽位填充是一个序列标注任务,在词级层面分析话语的语义.由于意图和槽之间的密切相关性,主流的工作采用联合模型来利用跨任务的共享知识.但是ID和SF是两个具有强相关性的不同任务,它们分别表征了话语的句级语义信息和词级信息,这意味着两个任务的信息是异构的,同时具有不同的粒度.提出一种用于联合意图检测和槽位填充的异构交互结构,采用自注意力和图注意力网络的联合形式充分地捕捉两个相关任务中异构信息的句级语义信息和词级信息之间的关系.不同于普通的同构结构,所提模型是一个包含不同类型节点和连接的异构图架构,因为异构图涉及更全面的信息和丰富的语义,同时可以更好地交互表征不同粒度节点之间的信息.此外,为了更好地适应槽标签的局部连续性,利用窗口机制来准确地表示词级嵌入表示.同时结合预训练模型(BERT),分析所提出模型应用预训练模型的效果.所提模型在两个公共数据集上的实验结果表明,所提模型在意图检测任务上准确率分别达到了97.98%和99.11%,在槽位填充任务上F1分数分别达到96.10%和96.11%,均优于目前主流的方法.展开更多
循环神经网络(RNN)越来越在口语理解(Spoken Language Understanding,SLU)任务中显示出优势。然而,由于梯度消失和梯度爆炸问题,简单循环神经网络的存储容量受到限制。提出一种使用外部存储器来提高记忆能力的循环神经网络。并在ATIS数...循环神经网络(RNN)越来越在口语理解(Spoken Language Understanding,SLU)任务中显示出优势。然而,由于梯度消失和梯度爆炸问题,简单循环神经网络的存储容量受到限制。提出一种使用外部存储器来提高记忆能力的循环神经网络。并在ATIS数据集上进行了实验,并与其他公开报道的模型进行比较。结果说明,在口语理解任务上,提出的引入外部记忆的循环神经网络在准确性、召回率和F1值都有较明显提高,优于传统循环神经网络及其变体结构。展开更多
文摘随着预训练语言模型在自然语言处理(NLP)任务上的应用,意图检测(ID)和槽位填充(SF)联合建模提高了口语理解的性能。现有方法大多关注意图和槽位的相互作用,忽略了差异文本序列建模对口语理解(SLU)任务的影响。因此,提出一种基于多任务学习的意图检测和槽位填充联合方法(IDSFML)。首先,使用随机掩盖mask策略构造差异文本,设计结合自编码器和注意力机制的神经网络(AEA)结构,为口语理解任务融入差异文本序列的特征;其次,设计相似性分布任务,使差异文本和原始文本的表征相似;最后,联合训练ID、SF和差异文本序列相似性分布三个任务。在航班旅行信息系统(ATIS)和SNIPS数据集上的实验结果表明,IDSFML与表现次优的基线方法SASGBC(Self-Attention and Slot-Gated on top of BERT with CRF)相比,槽位填充F1值分别提升了1.9和1.6个百分点,意图检测准确率分别提升了0.2和0.4个百分点,提高了口语理解任务的准确率。
文摘口语理解(spoken language understanding,SLU)是面向任务的对话系统的核心组成部分,旨在提取用户查询的语义框架.在对话系统中,口语理解组件(SLU)负责识别用户的请求,并创建总结用户需求的语义框架,SLU通常包括两个子任务:意图检测(intent detection,ID)和槽位填充(slot filling,SF).意图检测是一个语义话语分类问题,在句子层面分析话语的语义;槽位填充是一个序列标注任务,在词级层面分析话语的语义.由于意图和槽之间的密切相关性,主流的工作采用联合模型来利用跨任务的共享知识.但是ID和SF是两个具有强相关性的不同任务,它们分别表征了话语的句级语义信息和词级信息,这意味着两个任务的信息是异构的,同时具有不同的粒度.提出一种用于联合意图检测和槽位填充的异构交互结构,采用自注意力和图注意力网络的联合形式充分地捕捉两个相关任务中异构信息的句级语义信息和词级信息之间的关系.不同于普通的同构结构,所提模型是一个包含不同类型节点和连接的异构图架构,因为异构图涉及更全面的信息和丰富的语义,同时可以更好地交互表征不同粒度节点之间的信息.此外,为了更好地适应槽标签的局部连续性,利用窗口机制来准确地表示词级嵌入表示.同时结合预训练模型(BERT),分析所提出模型应用预训练模型的效果.所提模型在两个公共数据集上的实验结果表明,所提模型在意图检测任务上准确率分别达到了97.98%和99.11%,在槽位填充任务上F1分数分别达到96.10%和96.11%,均优于目前主流的方法.
文摘循环神经网络(RNN)越来越在口语理解(Spoken Language Understanding,SLU)任务中显示出优势。然而,由于梯度消失和梯度爆炸问题,简单循环神经网络的存储容量受到限制。提出一种使用外部存储器来提高记忆能力的循环神经网络。并在ATIS数据集上进行了实验,并与其他公开报道的模型进行比较。结果说明,在口语理解任务上,提出的引入外部记忆的循环神经网络在准确性、召回率和F1值都有较明显提高,优于传统循环神经网络及其变体结构。
