基于树核的隐式篇章关系识别 被引量：15

1

作者 徐凡 朱巧明 周国栋 《软件学报》 EI CSCD 北大核心 2013年第5期1022-1035,共14页

隐式篇章关系识别是篇章结构分析中最具有挑战性的任务之一.传统的方法注重篇章中的概念和意义特征,导致系统的性能不高.系统地探索了篇章中的浅层语义信息和以态度韵为导向的句子级情感等平面特征的有效性,同时提出了一种简单而有效的... 隐式篇章关系识别是篇章结构分析中最具有挑战性的任务之一.传统的方法注重篇章中的概念和意义特征,导致系统的性能不高.系统地探索了篇章中的浅层语义信息和以态度韵为导向的句子级情感等平面特征的有效性,同时提出了一种简单而有效的树核方法,最后采用复合核方法加以集成.在Penn Discourse Treebank(PDTB)2.0语料库上的实验结果表明,引入浅层语义和情感等信息后,准确率得到显著提升. 展开更多

关键词 篇章 篇章结构分析 隐式篇章关系识别 树核 复合核

下载PDF 职称材料

运用多层注意力神经网络识别中文隐式篇章关系 被引量：10

2

作者 徐昇 王体爽 +1 位作者 李培峰 朱巧明 《中文信息学报》 CSCD 北大核心 2019年第8期12-19,35,共9页

中文隐式篇章关系识别是一个具有挑战性的任务,其难点在于如何捕获论元的语义信息。该文提出了一个模拟人类双向阅读和重复阅读过程的三层注意力网络模型(TLAN)用于识别中文隐式篇章关系。首先,使用Self-Attention层对论元进行编码;然后... 中文隐式篇章关系识别是一个具有挑战性的任务,其难点在于如何捕获论元的语义信息。该文提出了一个模拟人类双向阅读和重复阅读过程的三层注意力网络模型(TLAN)用于识别中文隐式篇章关系。首先,使用Self-Attention层对论元进行编码;然后,通过细粒度的Interactive Attention层模拟双向阅读过程以生成包含交互信息的论元表示,并且通过非线性变换获得论元对信息的外部记忆;最后,通过包含外部记忆的注意力层来模拟重复阅读过程,在论元对记忆的引导下生成论元的最终表示。在中文篇章树库(CDTB)上进行的隐式篇章关系识别实验结果显示,该文提出的模型TLAN在Micro-F1和Macro-F1上超过了多个基准模型。 展开更多

关键词 篇章分析 隐式篇章关系识别 注意力机制

下载PDF 职称材料

融合特征编码和短语交互感知的隐式篇章关系识别

3

作者 王秀利 金方焱 《电子学报》 EI CAS CSCD 北大核心 2024年第4期1377-1388,共12页

隐式篇章关系识别难度大、普遍性高.从论元编码和论元交互角度入手,提出了一种融合特征编码和短语交互感知的隐式篇章关系识别模型.该模型兼顾了论元本身特征和论元间交互特征的作用,并分别进行了优化.论元编码部分整合了双向长短时记... 隐式篇章关系识别难度大、普遍性高.从论元编码和论元交互角度入手,提出了一种融合特征编码和短语交互感知的隐式篇章关系识别模型.该模型兼顾了论元本身特征和论元间交互特征的作用,并分别进行了优化.论元编码部分整合了双向长短时记忆网络和循环注意力卷积神经网络,能够更全面地捕获论元全局和局部特征;论元交互部分从短语层级考虑论元间的语义关系建模,构建了短语级交互注意力机制,并利用神经张量网络深入挖掘其中的关系模式,更能体现出论元间潜在的更深层次的关联关系.在宾州篇章树库数据集上的实验结果表明,该模型F1值均优于其他模型. 展开更多

关键词 隐式篇章关系识别 双向长短时记忆网络 循环注意力卷积神经网络 短语级交互注意力 神经张量网络

下载PDF 职称材料

基于多视角对比学习的隐式篇章关系识别

4

作者 吴一珩 李军辉 朱慕华 《计算机工程与科学》 CSCD 北大核心 2024年第4期716-724,共9页

隐式篇章关系识别IDRR的相关工作集中在篇章单元编码器的设计上。将对比学习引入到IDRR,以此获得区分度更高的篇章单元表征。具体地,首先使用一个轻量的IDRR模型;然后为了学习到更好的篇章单元表征,分别从样例层级、批层级和群层级,探索... 隐式篇章关系识别IDRR的相关工作集中在篇章单元编码器的设计上。将对比学习引入到IDRR,以此获得区分度更高的篇章单元表征。具体地,首先使用一个轻量的IDRR模型;然后为了学习到更好的篇章单元表征,分别从样例层级、批层级和群层级,探索了3种不同视角的对比学习方法在IDRR中的应用;最后本文将多视角对比学习目标联合IDRR同时进行训练。本文提出的方法几乎不增加训练时间,而且只引入少量额外参数。基于PDTB 2.0的实验结果表明该方法达到了最优性能。 展开更多

关键词 隐式篇章关系识别 多视角 对比学习 联合学习

下载PDF 职称材料

基于深度学习的隐式篇章关系识别综述 被引量：4

5

作者 胡超文 杨亚连 邬昌兴 《计算机科学》 CSCD 北大核心 2020年第4期157-163,共7页

隐式篇章关系识别是自然语言处理中一项富有挑战性的任务,旨在判断缺少连接词的两个论元(子句或者句子)之间的语义关系(例如转折)。近年来,随着深度学习在自然语言处理领域的广泛应用,各种基于深度学习的隐式篇章关系识别方法取得了不... 隐式篇章关系识别是自然语言处理中一项富有挑战性的任务,旨在判断缺少连接词的两个论元(子句或者句子)之间的语义关系(例如转折)。近年来,随着深度学习在自然语言处理领域的广泛应用,各种基于深度学习的隐式篇章关系识别方法取得了不错的效果,其性能全面超越了早期基于人工特征的方法。文中分三大类对最近的隐式篇章关系识别方法进行讨论:基于论元编码的方法、基于论元交互的方法和引入显式篇章数据的半监督方法。在PDTB数据集上的实验结果显示:1)通过显式地建模论元中词或文本片段之间的语义关系,基于论元交互的方法的性能明显好于基于论元编码的方法;2)引入显式篇章数据的半监督方法能有效地缓解数据稀疏问题,从而进一步提升识别的性能。最后,分析了当前面临的主要问题,并指出了未来可能的研究方向。 展开更多

关键词 自然语言处理 隐式篇章关系识别 深度学习

下载PDF 职称材料

基于语境交互感知和模式筛选的隐式篇章关系识别 被引量：4

6

作者 郭凤羽 贺瑞芳 党建武 《计算机学报》 EI CSCD 北大核心 2020年第5期901-915,共15页

隐式篇章关系识别是篇章分析(Discourse Analysis)中一项具有挑战性的子任务,旨在推断出同一篇章内相邻文本片段(称为论元)之间潜在的语义连接关系,例如:时序关系、因果关系等.如何有效地表征篇章论元以及挖掘论元间的交互信息是实现该... 隐式篇章关系识别是篇章分析(Discourse Analysis)中一项具有挑战性的子任务,旨在推断出同一篇章内相邻文本片段(称为论元)之间潜在的语义连接关系,例如:时序关系、因果关系等.如何有效地表征篇章论元以及挖掘论元间的交互信息是实现该任务的核心要素.传统研究注重篇章中人工总结的表层语言特征(即情感词极性、位置特征和动词类型等),存在数据稀疏和预处理错误级联的问题,导致机器学习模型性能不高.新近的深度神经网络模型则自动提取篇章论元中的特征,利用注意力或记忆机制等捕获论元的重要信息,并组合不同神经网络提取大量关系特征,以提升模型识别性能.然而,其忽略了表示过程中论元间双向非对称的交互信息,以及识别过程中论元间交互模式的稀疏特性.受认知学相关理论的启发,本文提出基于语境交互感知和模式筛选的隐式篇章关系识别方法(MATS).首先,通过双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)分别编码两个论元,以获取带有上下文语境信息的论元表示;其次建模其动态交互注意力机制,以自动学习论元之间的非对称关联矩阵,进而得到融合语境交互感知信息的论元表示;最后,利用带有稀疏约束的张量神经网络捕捉具有篇章关系指示性的深层交互模式,从而提升模型的识别性能.Penn Discourse Treebank(PDTB)语料库上的实验结果表明,本文提出方法的精确率在其四分类上改善了2.36%. 展开更多

关键词 隐式篇章关系识别 双向长短期记忆网络 交互注意力机制 稀疏约束 张量神经网络

下载PDF 职称材料

基于数据增强的中文隐式篇章关系识别方法 被引量：2

7

作者 王体爽 李培峰 朱巧明 《计算机科学》 CSCD 北大核心 2021年第10期85-90,共6页

由于缺乏显式连接词,隐式篇章关系识别是一个具有挑战性的任务。文中提出了一种结合主动学习和多任务学习来间接扩充隐式篇章关系训练数据的隐式篇章关系识别方法,旨在在增强训练数据的同时尽量少地引入伪隐式篇章关系数据中的噪声。首... 由于缺乏显式连接词,隐式篇章关系识别是一个具有挑战性的任务。文中提出了一种结合主动学习和多任务学习来间接扩充隐式篇章关系训练数据的隐式篇章关系识别方法,旨在在增强训练数据的同时尽量少地引入伪隐式篇章关系数据中的噪声。首先,基于BERT模型通过主动学习方法的分类不确定性来选择部分显式篇章关系样本;然后,移除显式篇章关系数据中的显式连接词作为伪隐式篇章关系数据;最后,采用多任务学习方法使伪隐式篇章关系数据有助于隐式篇章关系识别。在中文篇章树库(CDTB)上进行的实验的结果显示,相比基准模型,所提方法在宏平均F1、微平均F1值上均得到了提高。 展开更多

关键词 篇章分析 隐式篇章关系识别 主动学习 多任务学习

下载PDF 职称材料

隐式篇章关系识别研究综述

8

作者 刘露 《现代计算机》 2020年第6期64-68,共5页

篇章关系识别作为篇章分析的重要任务之一,是机器翻译、问答系统等自然语言处理任务的基础。具有显式篇章关系的文本中存在对篇章关系有强指示作用的篇章连接词,其识别已经取得较好的效果。而隐式篇章关系的文本中缺乏连接词作为线索,... 篇章关系识别作为篇章分析的重要任务之一,是机器翻译、问答系统等自然语言处理任务的基础。具有显式篇章关系的文本中存在对篇章关系有强指示作用的篇章连接词,其识别已经取得较好的效果。而隐式篇章关系的文本中缺乏连接词作为线索,需要根据两个篇章单元的语义推断篇章关系,是目前篇章关系识别的挑战。针对隐式篇章关系识别研究,介绍篇章分析的意义及现在常用的篇章分析理论和语料,阐述隐式篇章关系任务和关键技术,梳理总结相关工作和研究现状。 展开更多

关键词 篇章分析 隐式篇章关系 篇章关系识别 PDTB

下载PDF 职称材料

基于高困惑样本对比学习的隐式篇章关系识别

9

作者 李晓 洪宇 +3 位作者 窦祖俊 徐旻涵 陆煜翔 周国栋 《中文信息学报》 CSCD 北大核心 2022年第11期38-49,共12页

隐式篇章关系识别是一种自动判别论元语义关系的自然语言处理任务。该任务蕴含的关键科学问题涉及两个方面:其一是准确表征论元语义;其二是基于语义表示,有效地判别论元之间的关系类型。该文将集中在第一个方面开展研究。精准可靠的语... 隐式篇章关系识别是一种自动判别论元语义关系的自然语言处理任务。该任务蕴含的关键科学问题涉及两个方面:其一是准确表征论元语义;其二是基于语义表示,有效地判别论元之间的关系类型。该文将集中在第一个方面开展研究。精准可靠的语义编码有助于关系分类,其根本原因是,编码表示的可靠性促进了正负例样本的可区分性(正例样本特指一对蕴含了“目标关系类”的论元,负例则是一对持有“非目标关系类”的论元)。近期研究显示,集成对比学习机制的语义编码方法能够提升模型在正负例样本上的可辨识性。为此,该文将对比学习机制引入论元语义的表示学习过程,利用“对比损失”驱动正负例样本的“相异性”,即在语义空间中聚合同类正样本,且驱散异类负样本的能力。特别地,该文提出基于条件自编码器的高困惑度负例生成方法,并利用这类负例增强对比学习数据的迷惑性,提升论元语义编码器的鲁棒性。该文使用篇章关系分析的公开语料集PDTB进行实验,实验结果证明,上述方法相较于未采用对比学习的基线模型,在面向对比(Comparison)、偶然(Contingency)、扩展(Expansion)及时序(Temporal)四种PDTB关系类型的二元分类场景中,分别产生了4.68%、4.63%、3.14%、12.77%的F 1值性能提升。 展开更多

关键词 隐式篇章关系识别 对比学习 条件变分编码

下载PDF 职称材料

基于知识蒸馏的隐式篇章关系识别

10

作者 俞亮 魏永丰 +1 位作者 罗国亮 邬昌兴 《计算机科学》 CSCD 北大核心 2021年第11期319-326,共8页

由于缺少连接词信息,隐式篇章关系识别模型需要基于两个论元(子句或者句子)的语义来推导它们之间的篇章关系,但目前性能还比较低。对于语料标注人员而言,隐式篇章关系的标注是很困难的,他们通常先插入一个合适的连接词用于辅助隐式篇章... 由于缺少连接词信息,隐式篇章关系识别模型需要基于两个论元(子句或者句子)的语义来推导它们之间的篇章关系,但目前性能还比较低。对于语料标注人员而言,隐式篇章关系的标注是很困难的,他们通常先插入一个合适的连接词用于辅助隐式篇章关系的标注。基于上述情况,文中提出了一种基于知识蒸馏的隐式篇章关系识别方法,其目的是利用语料标注时插入的连接词信息来提高识别的性能。具体地,先构建一个连接词增强的模型用于融合连接词信息,然后基于知识蒸馏的方式把连接词增强模型学到的知识迁移到隐式篇章关系识别模型中。实验结果表明,在常用的PDTB数据集上,所提方法取得了比同类基准方法更好的识别性能。 展开更多

关键词 隐式篇章关系识别 知识蒸馏 连接词 篇章结构分析 深度学习

下载PDF 职称材料

基于图卷积神经网络的隐式篇章关系识别

11

作者 阮慧彬 孙雨 +3 位作者 洪宇 吴成豪 李晓 周国栋 《中文信息学报》 CSCD 北大核心 2021年第8期28-37,共10页

隐式篇章关系识别是篇章关系识别的子任务,其挑战性在于难以学习到具有丰富语义信息和交互信息的论元表示。针对这一难点,该文提出一种基于图卷积神经网络(Graph Convolutional Network,GCN)的隐式篇章关系分类方法。该方法采用预训练... 隐式篇章关系识别是篇章关系识别的子任务,其挑战性在于难以学习到具有丰富语义信息和交互信息的论元表示。针对这一难点,该文提出一种基于图卷积神经网络(Graph Convolutional Network,GCN)的隐式篇章关系分类方法。该方法采用预训练语言模型BERT(Bidirectional Encoder Representation from Transformers)编码论元以获取论元表示,再分别拼接论元表示和注意力分数矩阵作为特征矩阵和邻接矩阵,构造基于图卷积神经网络的分类模型,从而根据论元自身信息以及交互信息对论元表示进行调整,以得到有助于隐式篇章关系识别的论元表示。该文利用宾州篇章树库(Penn Discourse Treebank,PDTB)语料进行实验,实验结果表明,该方法在四大类关系上分类性能优于基准模型BERT,且其在偶然(Contingency)关系和扩展(Expansion)关系上优于目前先进模型,F1值分别达到60.70%和74.49%。 展开更多

关键词 隐式篇章关系识别 图卷积神经网络 自注意力机制 交互式注意力机制

下载PDF 职称材料

基于混合树结构神经网络的隐式篇章关系识别

12

作者 郑江龙 陈锦秀 《厦门大学学报（自然科学版）》 CAS CSCD 北大核心 2017年第4期576-583,共8页

隐式篇章关系识别的主要挑战是如何表示两个文本单元的语义信息.由于句子的语义信息往往由语法树中的信息焦点(谓词部分)所决定,所以关注信息焦点可以提升篇章关系识别的效果.为了增强信息焦点的作用,引入树状长短时记忆(tree-structure... 隐式篇章关系识别的主要挑战是如何表示两个文本单元的语义信息.由于句子的语义信息往往由语法树中的信息焦点(谓词部分)所决定,所以关注信息焦点可以提升篇章关系识别的效果.为了增强信息焦点的作用,引入树状长短时记忆(tree-structured long short-term memory,Tree-LSTM)网络,使用其遗忘门的特性区别对待不同孩子节点的信息.最后利用神经张量网络(neural tensor network,NTN)来计算两个句子语义向量之间的关系.基于PDTB2.0(Penn Discourse Treebank)语料数据进行实验,实验结果表明混合树结构神经网络比传统的RNN模型在大部分关系中的Fscore上提高了3.0%左右. 展开更多

关键词 隐式篇章关系识别 信息焦点 树状长短时记忆网络 神经张量网

下载PDF 职称材料

中文篇章级句间语义关系识别 被引量：22

13

作者 张牧宇 宋原 +1 位作者 秦兵 刘挺 《中文信息学报》 CSCD 北大核心 2013年第6期51-57,共7页

篇章句间关系识别(Discourse Relation Recognition)是篇章分析的重要内容,该文对中文篇章句间关系识别任务进行初步探索,包括显式篇章句间关系识别与隐式篇章句间关系识别两类任务。针对显式篇章句间关系,我们提出基于关联词规则的方... 篇章句间关系识别(Discourse Relation Recognition)是篇章分析的重要内容,该文对中文篇章句间关系识别任务进行初步探索,包括显式篇章句间关系识别与隐式篇章句间关系识别两类任务。针对显式篇章句间关系,我们提出基于关联词规则的方法进行识别,取得了很好的效果;针对隐式篇章句间关系,我们抽取词汇、句法、语义等特征,采用有指导模型进行识别。该文的分析和实验结果为后续研究提供了参考和基本对照系统。 展开更多

关键词 中文篇章级语义分析 显式篇章句间关系 隐式篇章句间关系

下载PDF 职称材料