对话状态跟踪(Dialogue State Tracking, DST)是任务型对话系统的核心模块,主要实现在对话过程中跟踪用户意图的功能。为了提升对话状态跟踪在跨领域场景下的性能,本文提出了一种基于BERT(Bidirectional Encoder Representation from Tr...对话状态跟踪(Dialogue State Tracking, DST)是任务型对话系统的核心模块,主要实现在对话过程中跟踪用户意图的功能。为了提升对话状态跟踪在跨领域场景下的性能,本文提出了一种基于BERT(Bidirectional Encoder Representation from Transformers)模型的对话状态跟踪方法,该方法考虑了领域与槽之间的相关性,让模型在对话过程中学习领域信息,并使领域信息参与到槽值的生成过程之中。我们在两个跨领域的任务型对话数据集上进行了综合实验,包括中文数据集CrossWOZ和英文数据集MultiWOZ 2.4,模型在CrossWOZ和MultiWOZ 2.4中分别取得了63.51%和70.17%的联合目标准确率。实验结果表明,本文提出的方法在跨领域场景下有较高的性能表现。展开更多
基于管道的方法是目前任务型对话系统的主要构建方式,在工业界具有广泛应用,而对话状态跟踪(dialogue state tracking,DST)是任务型对话系统中的核心任务。面对传统的方法在多领域场景下表现较差的问题,该文结合语言模型预训练的最新研...基于管道的方法是目前任务型对话系统的主要构建方式,在工业界具有广泛应用,而对话状态跟踪(dialogue state tracking,DST)是任务型对话系统中的核心任务。面对传统的方法在多领域场景下表现较差的问题,该文结合语言模型预训练的最新研究成果,该文提出了一种基于BERT的对话状态跟踪算法Q2SM(query to state model)。该模型的上游使用了基于BERT的句子表征与相似度交互的槽判定模块,下游使用了一种面向对话状态跟踪任务的自定义RNN:DST-RNN。在WOZ 2.0和MultiWOZ 2.0两个数据集上的实验表明,Q2SM相比于之前的最好模型,分别在联合准确率和状态F1值两个评价指标上提升了1.09%和2.38%。此外,模型消融实验验证了,DST-RNN相比于传统的RNN或LSTM,不仅可以提升评价指标值,还可以加快模型的收敛速度。展开更多
ChatGPT引发了新一轮的科技革命,使得对话系统成为研究热点。口语理解(Spoken Language Understanding,SLU)作为任务型对话系统的第一部分,对系统整体的表现具有重要影响。在最近几年中,得益于大规模语言模型的成功,口语理解任务取得了...ChatGPT引发了新一轮的科技革命,使得对话系统成为研究热点。口语理解(Spoken Language Understanding,SLU)作为任务型对话系统的第一部分,对系统整体的表现具有重要影响。在最近几年中,得益于大规模语言模型的成功,口语理解任务取得了较大的发展。然而,现有工作大多基于书面语数据集完成,无法很好地应对真实口语场景。为此,该文面向与书面语相对的口语,重点关注医疗领域这一应用场景,对现有的医疗领域对话系统口语理解任务进行综述。具体地,该文阐述了医疗口语理解任务的难点与挑战,并从数据集、算法和应用的层面梳理了医疗口语理解的研究现状及不足之处。最后,该文结合生成式大模型的最新进展,给出了医疗口语理解问题新的研究方向。展开更多
任务型对话系统是当前自然语言处理领域的研究热点,对话状态跟踪作为任务型对话系统的核心模块,其主要任务是维护对话的上下文信息并以特定的状态形式展现。目前基于多领域的任务型对话系统由于对话场景复杂,导致对话状态难以跟踪,预测...任务型对话系统是当前自然语言处理领域的研究热点,对话状态跟踪作为任务型对话系统的核心模块,其主要任务是维护对话的上下文信息并以特定的状态形式展现。目前基于多领域的任务型对话系统由于对话场景复杂,导致对话状态难以跟踪,预测精度不高。该文提出一种融合槽位关联和语义关联的状态跟踪模型DST-S^(2)C(Dialogue State Tracking with Slot Connection and Semantic Connection)。该模型将槽位构建成多关系图,并利用层级图注意力网络对槽位关系进行建模,提取融合多种槽位关联信息的槽位向量。同时,在槽门机制中加入词级语义相似度向量作为增强特征,获得对话上下文与槽位的局部语义信息,提高槽门机制的预测精度。实验表明,相较于基线模型,DST-S2C在MultiWOZ 2.1数据集上,联合准确率和槽位准确率分别提升了1.12%和0.39%。展开更多
文摘对话状态跟踪(Dialogue State Tracking, DST)是任务型对话系统的核心模块,主要实现在对话过程中跟踪用户意图的功能。为了提升对话状态跟踪在跨领域场景下的性能,本文提出了一种基于BERT(Bidirectional Encoder Representation from Transformers)模型的对话状态跟踪方法,该方法考虑了领域与槽之间的相关性,让模型在对话过程中学习领域信息,并使领域信息参与到槽值的生成过程之中。我们在两个跨领域的任务型对话数据集上进行了综合实验,包括中文数据集CrossWOZ和英文数据集MultiWOZ 2.4,模型在CrossWOZ和MultiWOZ 2.4中分别取得了63.51%和70.17%的联合目标准确率。实验结果表明,本文提出的方法在跨领域场景下有较高的性能表现。
文摘基于管道的方法是目前任务型对话系统的主要构建方式,在工业界具有广泛应用,而对话状态跟踪(dialogue state tracking,DST)是任务型对话系统中的核心任务。面对传统的方法在多领域场景下表现较差的问题,该文结合语言模型预训练的最新研究成果,该文提出了一种基于BERT的对话状态跟踪算法Q2SM(query to state model)。该模型的上游使用了基于BERT的句子表征与相似度交互的槽判定模块,下游使用了一种面向对话状态跟踪任务的自定义RNN:DST-RNN。在WOZ 2.0和MultiWOZ 2.0两个数据集上的实验表明,Q2SM相比于之前的最好模型,分别在联合准确率和状态F1值两个评价指标上提升了1.09%和2.38%。此外,模型消融实验验证了,DST-RNN相比于传统的RNN或LSTM,不仅可以提升评价指标值,还可以加快模型的收敛速度。
文摘ChatGPT引发了新一轮的科技革命,使得对话系统成为研究热点。口语理解(Spoken Language Understanding,SLU)作为任务型对话系统的第一部分,对系统整体的表现具有重要影响。在最近几年中,得益于大规模语言模型的成功,口语理解任务取得了较大的发展。然而,现有工作大多基于书面语数据集完成,无法很好地应对真实口语场景。为此,该文面向与书面语相对的口语,重点关注医疗领域这一应用场景,对现有的医疗领域对话系统口语理解任务进行综述。具体地,该文阐述了医疗口语理解任务的难点与挑战,并从数据集、算法和应用的层面梳理了医疗口语理解的研究现状及不足之处。最后,该文结合生成式大模型的最新进展,给出了医疗口语理解问题新的研究方向。
文摘任务型对话系统是当前自然语言处理领域的研究热点,对话状态跟踪作为任务型对话系统的核心模块,其主要任务是维护对话的上下文信息并以特定的状态形式展现。目前基于多领域的任务型对话系统由于对话场景复杂,导致对话状态难以跟踪,预测精度不高。该文提出一种融合槽位关联和语义关联的状态跟踪模型DST-S^(2)C(Dialogue State Tracking with Slot Connection and Semantic Connection)。该模型将槽位构建成多关系图,并利用层级图注意力网络对槽位关系进行建模,提取融合多种槽位关联信息的槽位向量。同时,在槽门机制中加入词级语义相似度向量作为增强特征,获得对话上下文与槽位的局部语义信息,提高槽门机制的预测精度。实验表明,相较于基线模型,DST-S2C在MultiWOZ 2.1数据集上,联合准确率和槽位准确率分别提升了1.12%和0.39%。
