一种基于多层次语言信息的自然语言推理方法

1

作者 张振寰 李琳 +3 位作者 张梦静 钟珞 陈云 程庆贺 《软件导刊》 2024年第4期38-45,共8页

随着网络深度逐层加深,提取特征时表层信息和浅层特征或多或少被遗失,而一些推理场景需要浅层特征来作出推理判断。为此,提出一种融入多层语言信息的自然语言推理方法,通过学习多层深度神经网络的不同层对结果的贡献权重,有效结合不同... 随着网络深度逐层加深,提取特征时表层信息和浅层特征或多或少被遗失,而一些推理场景需要浅层特征来作出推理判断。为此,提出一种融入多层语言信息的自然语言推理方法,通过学习多层深度神经网络的不同层对结果的贡献权重,有效结合不同层学习到的语言信息对结果进行预测。在SNLI数据集上的实验结果和对多个样例的分析表明,多层神经网络的不同层捕获到了不同的语言信息,不同的网络层擅长不同的推理任务,合理融入不同层次的语言信息有助于方法性能的提升。 展开更多

关键词 自然语言处理 多层语言信息 自然语言推理 注意力机制

下载PDF 职称材料

基于平衡损失和多级注意力的溯因推理方法

2

作者 李林昊 王澳 +3 位作者 孙树国 吕欢 徐铭 王振 《闽南师范大学学报（自然科学版）》 2024年第1期27-39,共13页

针对溯因自然语言推理任务(aNLI)中存在的问题,即正确假设之间存在一定独立性,且对推理的贡献存在不一致性,设计一种“平衡正样本softmax聚焦损失”,调整正确假设概率影响程度,并平衡样本损失权重.此外,在aNLI中,正样本与负样本之间的... 针对溯因自然语言推理任务(aNLI)中存在的问题,即正确假设之间存在一定独立性,且对推理的贡献存在不一致性,设计一种“平衡正样本softmax聚焦损失”,调整正确假设概率影响程度,并平衡样本损失权重.此外,在aNLI中,正样本与负样本之间的关联性往往体现在特定的短语上,这些短语对判断样本的合理性至关重要.因此设计多级注意力模型,通过多层次的注意力机制逐步细化,从而实现对短语级特征的深层次关注.这个新模型被命名为平衡损失多级注意力MAT-Ball模型.结果表明,MAT-Ball模型在Roberta-large预训练模型上取得了最高的性能,与公开可获得代码的方法相比,ACC和AUC结果分别增加了约1%和0.5%.同时,研究比较了在低资源和损失收敛性方面的性能,证明了所提出的方法的效率和鲁棒性. 展开更多

关键词 自然语言推理 溯因推理 预训练模型 注意力机制

下载PDF 职称材料

一种基于多维度语义增强的句子编码

3

作者 白海平 白文 《计算机与数字工程》 2024年第7期2061-2065,2094,共6页

问答系统、情感分析、文本分类等自然语言处理任务通常依赖于句子级语义表示,这种表示一般由句子编码器获得。现有句子编码器过度依赖句子对交互信息,忽略了句子本身包含的语义表征信息。为此,论文提出了一种基于多维度语义增强的双向L... 问答系统、情感分析、文本分类等自然语言处理任务通常依赖于句子级语义表示,这种表示一般由句子编码器获得。现有句子编码器过度依赖句子对交互信息,忽略了句子本身包含的语义表征信息。为此,论文提出了一种基于多维度语义增强的双向LSTM和最大池化层次模型(MDSE)。首先使用自注意力机制捕捉句子内部的重要特征,然后利用字符级嵌入信息和词性信息组成多个细粒度的特征信息通道,最后将所有通道的输出共同作为句向量表示。实验表明,与其他深度学习方法相比,MDSE模型在三个公开的自然语言推理数据集得到了显著的性能提升。同时,下游任务实验进一步验证了该方法的句子表征能力。 展开更多

关键词 注意力机制 句子表示 自然语言推理 长短期记忆网络

下载PDF 职称材料

基于知识图谱增强的自然语言推理方法研究

4

作者 朱彦 戚瑶瑶 +1 位作者 凌骏 陶思雨 《计算机与数字工程》 2024年第4期1115-1118,1148,共5页

自然语言推理(NLI)是自然语言处理中的一项重要任务。它旨在识别两个句子之间存在的逻辑关系。大多数现有的方法通过使用训练语料库从而获得的语义知识进行推理,而忽略了背景知识的使用以及引入。在该工作中,为了解决这个问题,论文提出... 自然语言推理(NLI)是自然语言处理中的一项重要任务。它旨在识别两个句子之间存在的逻辑关系。大多数现有的方法通过使用训练语料库从而获得的语义知识进行推理,而忽略了背景知识的使用以及引入。在该工作中,为了解决这个问题,论文提出一种新的基于知识图谱增强的NLI(KGNET)模型,从而在NLI任务重引入相关领域知识的增强。KGNET模型由三个组件组成:语义关系表示模块、知识关系表示模块、和标签预测模块。该模型在两个基准数据集(SNLI和MultiNLI)上的实验验证了模型的有效性。 展开更多

关键词 自然语言推理 知识图谱 图神经网络 外部知识

下载PDF 职称材料

中文预设识别语料库的构建与预设识别

5

作者 魏晓聪 段懿桐 刘思含 《大连工业大学学报》 CAS 北大核心 2023年第4期299-305,共7页

预设是普遍存在于人类语言中的一种特殊推理关系。为提升计算机对预设这一语言现象的自然语言理解能力,构建了基于人工标注的中文预设识别语料库。本语料库与中文自然语言推理数据集的识别难度大体相同。通过在本语料库上精调BERT-base... 预设是普遍存在于人类语言中的一种特殊推理关系。为提升计算机对预设这一语言现象的自然语言理解能力,构建了基于人工标注的中文预设识别语料库。本语料库与中文自然语言推理数据集的识别难度大体相同。通过在本语料库上精调BERT-base、BERT-wwm-ext、RoBERTa、ELECTRA以及XLNet语言模型,结果表明,该语料库能够有效促进大规模预训练模型对预设语言现象的理解,对于体裁格式比较固定的触发类型模型识别较好,对问句、与事实相悖的条件从句识别准确率较低,现有大规模预训练语言模型仍然缺乏预设触发语含义的相关知识,在中文预设别方面还有很大的提升空间。 展开更多

关键词 语料库 预设识别 自然语言推理 自然语言理解 大规模预训练语言模型

下载PDF 职称材料

对Keenan推理模式中量词分类的再研究

6

作者 郑裕颖 《贵州工程应用技术学院学报》 2023年第6期71-80,共10页

对推理模式机械化处理时需要掌握其中量词的性质,对量词做出合适的归类。Keenan曾将一种经典推理模式中的量词归类为比例量词,但Westerståhl则将其归类为右单调递增的驻留的量词,而Keenan对此并不认可。分别从直观角度对两种分类... 对推理模式机械化处理时需要掌握其中量词的性质,对量词做出合适的归类。Keenan曾将一种经典推理模式中的量词归类为比例量词,但Westerståhl则将其归类为右单调递增的驻留的量词,而Keenan对此并不认可。分别从直观角度对两种分类方式做了再分析,并发现,在自然语言环境下,两种分类方式是等价的,但具体来说两者都有不足。在分析单调性的分类方式时,采取了从数量关系角度逆推得出量词一般性质方式,并由此归纳出一种概括推理模式中量词性质的一般路径。 展开更多

关键词 比例量词 单调性 自然语言推理 推理模式 量词

下载PDF 职称材料

一种基于自然语言的安全事故文本事件推理方法分析

7

作者 巨红伟 孙茂鹏 +1 位作者 韩雨 韩涛 《中文科技期刊数据库（全文版）工程技术》 2023年第7期58-61,共4页

传统的事故事件文本处理通常需要人工分析事故事件的原因、措施和违反相关规定的行为。而安全事故文本往往涉及特定场景,特别是在文本输入和要求结果方面,人工分析需要耗费大量的人力物力。本文提出了一种基于自然语言的安全事故推理方... 传统的事故事件文本处理通常需要人工分析事故事件的原因、措施和违反相关规定的行为。而安全事故文本往往涉及特定场景,特别是在文本输入和要求结果方面,人工分析需要耗费大量的人力物力。本文提出了一种基于自然语言的安全事故推理方法,能够快速、准确地获取相关事件的发展脉络和信息,更高效、更客观、更准确地处理事故。 展开更多

关键词 自然语言推理 事件推理 句子匹配

下载PDF 职称材料

融合Attention多粒度句子交互自然语言推理研究 被引量：4

8

作者 程淑玉 郭泽颖 +1 位作者 刘威 印鉴 《小型微型计算机系统》 CSCD 北大核心 2019年第6期1215-1220,共6页

自然语言推理的很多问题都可以抽象为句子匹配问题,传统的匹配方法采用的是对句子向量或句子间的词向量做匹配,这些方法都只关注句子自身的语义信息,忽略句子之间的组合特征,造成语义损失.本文提出多粒度句子交互匹配方法,引入Attentio... 自然语言推理的很多问题都可以抽象为句子匹配问题,传统的匹配方法采用的是对句子向量或句子间的词向量做匹配,这些方法都只关注句子自身的语义信息,忽略句子之间的组合特征,造成语义损失.本文提出多粒度句子交互匹配方法,引入Attention机制,通过不同粒度、不同层次的句子交互,利用深度神经网络模型(BiLSTM)对句子蕴含关系进行分类.本文方法在SNLI语料库上进行了丰富的实验,结果表明该方法在自然语言推理任务上比当前最优的方法获得了更好的表现. 展开更多

关键词 自然语言推理 句子匹配 Attention机制 多粒度

下载PDF 职称材料

基于多粒度语义交互理解网络的幽默等级识别 被引量：3

9

作者 张瑾晖 张绍武 +2 位作者 林鸿飞 樊小超 杨亮 《中文信息学报》 CSCD 北大核心 2022年第3期10-18,共9页

幽默在人们日常交流中发挥着重要作用。随着人工智能的快速发展,幽默等级识别成为自然语言处理领域的热点研究问题之一。已有的幽默等级识别研究往往将幽默文本看作一个整体,忽视了幽默文本内部的语义关系。该文将幽默等级识别视为自然... 幽默在人们日常交流中发挥着重要作用。随着人工智能的快速发展,幽默等级识别成为自然语言处理领域的热点研究问题之一。已有的幽默等级识别研究往往将幽默文本看作一个整体,忽视了幽默文本内部的语义关系。该文将幽默等级识别视为自然语言推理任务,将幽默文本划分为“铺垫”和“笑点”两个部分,分别对其语义和语义关系进行建模,提出了一种多粒度语义交互理解网络,从单词和子句两个粒度捕获幽默文本中语义的关联和交互。在Reddit公开幽默数据集上进行了实验,相比之前最优结果,模型在语料上的准确率提升了1.3%。实验表明,引入幽默文本内部的语义关系信息可以提高模型的幽默识别性能,而该文提出的模型也可以很好地建模这种语义关系。 展开更多

关键词 幽默等级识别 自然语言推理 多粒度 语义交互理解

下载PDF 职称材料

基于对抗正则化的自然语言推理 被引量：4

10

作者 刘广灿 曹宇 +1 位作者 许家铭 徐波 《自动化学报》 EI CSCD 北大核心 2019年第8期1455-1463,共9页

目前自然语言推理(Natural language inference, NLI)模型存在严重依赖词信息进行推理的现象.虽然词相关的判别信息在推理中占有重要的地位,但是推理模型更应该去关注连续文本的内在含义和语言的表达,通过整体把握句子含义进行推理,而... 目前自然语言推理(Natural language inference, NLI)模型存在严重依赖词信息进行推理的现象.虽然词相关的判别信息在推理中占有重要的地位,但是推理模型更应该去关注连续文本的内在含义和语言的表达,通过整体把握句子含义进行推理,而不是仅仅根据个别词之间的对立或相似关系进行浅层推理.另外,传统有监督学习方法使得模型过分依赖于训练集的语言先验,而缺乏对语言逻辑的理解.为了显式地强调句子序列编码学习的重要性,并降低语言偏置的影响,本文提出一种基于对抗正则化的自然语言推理方法.该方法首先引入一个基于词编码的推理模型,该模型以标准推理模型中的词编码作为输入,并且只有利用语言偏置才能推理成功;再通过两个模型间的对抗训练,避免标准推理模型过多依赖语言偏置.在 SNLI和 Breaking-NLI 两个公开的标准数据集上进行实验,该方法在 SNLI 数据集已有的基于句子嵌入的推理模型中达到最佳性能,在测试集上取得了 87.60 %的准确率;并且在 Breaking-NLI 数据集上也取得了目前公开的最佳结果. 展开更多

关键词 深度学习 自然语言推理 语言偏置 对抗正则化

下载PDF 职称材料

基于知识图谱路径最优化的自然语言推理方法

11

作者 李世宝 殷乐乐 +1 位作者 刘建航 黄庭培 《计算机与数字工程》 2023年第2期331-335,共5页

外部知识库为自然语言推理模型提供了更多的推理知识,而传统融合知识图谱的自然语言推理模型在子图构建的过程中会引入大量噪声,影响最终模型准确率。对此提出一种基于知识图谱路径最优化的自然语言推理方法,首先结合权重信息和路径长... 外部知识库为自然语言推理模型提供了更多的推理知识,而传统融合知识图谱的自然语言推理模型在子图构建的过程中会引入大量噪声,影响最终模型准确率。对此提出一种基于知识图谱路径最优化的自然语言推理方法,首先结合权重信息和路径长度信息进行子图过滤,从而减少图中未匹配实体的数量,增加子图的上下文相关度,然后运用图神经网络编码子图得到图向量来进一步获取子图中的知识信息,最后将图向量和文本向量相结合送入分类器做判别。采用中文语料库作为实验数据集,结果表明论文模型测试准确率相比基线模型提升1.2%~4.4%,实现了比基线模型更好的识别性能。 展开更多

关键词 知识图谱 自然语言推理 路径最优化

下载PDF 职称材料

一种注意力增强的自然语言推理模型 被引量：2

12

作者 李冠宇 张鹏飞 贾彩燕 《计算机工程》 CAS CSCD 北大核心 2020年第7期91-97,共7页

在自然语言处理任务中使用注意力机制可准确衡量单词重要度。为此,提出一种注意力增强的自然语言推理模型aESIM。将词注意力层以及自适应方向权重层添加到ESIM模型的双向LSTM网络中,从而更有效地学习单词与句子表示,同时提高前提与假设... 在自然语言处理任务中使用注意力机制可准确衡量单词重要度。为此,提出一种注意力增强的自然语言推理模型aESIM。将词注意力层以及自适应方向权重层添加到ESIM模型的双向LSTM网络中,从而更有效地学习单词与句子表示,同时提高前提与假设文本之间局部推理的建模效率。在SNLI、MultiNLI及Quora数据集上的实验结果表明,与ESIM、HBMP、SSE等模型相比,aESIM模型的准确率能够提升0.5%~1%。 展开更多

关键词 自然语言处理 自然语言推理 ESIM模型 注意力机制 双向LSTM网络

下载PDF 职称材料

利用上下文相似度增强词对齐效果的自然语言推理方法 被引量：2

13

作者 杜倩龙 宗成庆 苏克毅 《智能科学与技术学报》 2020年第1期26-35,共10页

当前的自然语言推理方法在进行词对齐时往往只关注如何利用上下文信息改善词汇的表示,而忽略了上下文相似度对词汇对齐的帮助。推理方法在融合局部判定信息进行结果预测时,通常赋予局部判定信息相同的权重,而实际上不同词汇对应的局部... 当前的自然语言推理方法在进行词对齐时往往只关注如何利用上下文信息改善词汇的表示,而忽略了上下文相似度对词汇对齐的帮助。推理方法在融合局部判定信息进行结果预测时,通常赋予局部判定信息相同的权重,而实际上不同词汇对应的局部判定信息对最终结果具有不同的影响。因此,提出一种通过增强词对齐性能改善自然语言推理性能的方法,该方法在词对齐时同时考虑词汇的词义相似度和上下文相似度,并且利用选择门机制对不同的局部判定信息进行加权。实验表明,该方法能够获得与当前最优的模型相当的准确率,而且该方法更加符合人脑推理判定行为过程,且具有很好的可解释性。 展开更多

关键词 文本蕴含 自然语言推理 词对齐

下载PDF 职称材料

基于图神经网络和语义知识的自然语言推理任务研究 被引量：2

14

作者 刘欣瑜 刘瑞芳 +1 位作者 石航 韩斌 《中文信息学报》 CSCD 北大核心 2021年第6期122-130,共9页

自然语言推理任务的目的是推断两个句子之间的语义逻辑关系。该文通过模仿人类的推理过程构造模型,首先利用长短时记忆网络提取词的语境特征,模仿人类粗读句子的过程;然后依据外部语义知识,连接两个句子中有语义联系的词,构造一个以词... 自然语言推理任务的目的是推断两个句子之间的语义逻辑关系。该文通过模仿人类的推理过程构造模型,首先利用长短时记忆网络提取词的语境特征,模仿人类粗读句子的过程;然后依据外部语义知识,连接两个句子中有语义联系的词,构造一个以词为节点的语义图;接下来模仿人类比较两个句子的语义角色相似性的思维,用图卷积或图注意力神经网络聚合词在图中的空间特征;最后融合词的语境特征和语义图空间特征,进行推理分类。实验结果证明,基于图神经网络的模型能有效利用外部语义知识来提高自然语言推理的准确率。 展开更多

关键词 自然语言推理 图神经网络 语义知识 双向长短时记忆网络

下载PDF 职称材料

复述平行语料构建及其应用方法研究 被引量：2

15

作者 王雅松 刘明童 +2 位作者 张玉洁 徐金安 陈钰枫 《北京大学学报（自然科学版）》 EI CAS CSCD 北大核心 2021年第1期68-74,共7页

以汉语为研究对象,提出构建大规模高质量汉语复述平行语料的方法。基于翻译引擎进行复述数据增强,将英语复述平行语料迁移到汉语中,同时人工构建汉语复述评测数据集。基于构建的汉语复述数据,在复述识别和自然语言推理任务中验证复述数... 以汉语为研究对象,提出构建大规模高质量汉语复述平行语料的方法。基于翻译引擎进行复述数据增强,将英语复述平行语料迁移到汉语中,同时人工构建汉语复述评测数据集。基于构建的汉语复述数据,在复述识别和自然语言推理任务中验证复述数据构建及其应用方法的有效性。首先基于复述语料生成复述识别数据集,预训练基于注意力机制的神经网络句子匹配模型,训练模型捕获复述信息,然后将预训练的模型用于自然语言推理任务,改进其性能。在自然语言推理公开数据集上的评测结果表明,所构建的复述语料可有效地应用在复述识别任务中,模型可以学习复述知识。应用在自然语言推理任务中时,复述知识能有效地提升自然语言推理模型的精度,从而验证了复述知识对下游语义理解任务的有效性。所提出的复述语料构建方法不依赖语种,可为其他语言和领域提供更多的训练数据,生成高质量的复述数据,改进其他任务的性能。 展开更多

关键词 复述语料构建 数据增强 迁移学习 复述识别 自然语言推理

下载PDF 职称材料

长期记忆神经图灵机 被引量：1

16

作者 解笑 史有群 《计算机科学与应用》 2018年第1期49-58,共10页

可读写的外部记忆模块可以在事实的记忆和基于记忆的推理上扩充神经网络的能力。神经图灵机利用注意力机制设计了一种对内存模块的读写机制,并以循环神经网络作为控制器,实现了排序、复制等算法。为了在更广泛的应用(例如自然语言处理)... 可读写的外部记忆模块可以在事实的记忆和基于记忆的推理上扩充神经网络的能力。神经图灵机利用注意力机制设计了一种对内存模块的读写机制,并以循环神经网络作为控制器,实现了排序、复制等算法。为了在更广泛的应用(例如自然语言处理)中缩短训练时间或加快收敛速度,我们在神经图灵机的基础上设计了一种基于全局内存的读写机制,利用卷积运算提取全局内存特征。对于一些较长的序列任务,训练速度相对于神经图灵机提高了6倍,收敛速度也有所提升,在bAbi数据集中取得了更好的推理分类结果。 展开更多

关键词 神经图灵机 长期记忆 工作记忆 随机读写 自然语言推理

下载PDF 职称材料

面向自然语言推理的基于截断高斯距离的自注意力机制 被引量：1

17

作者 张鹏飞 李冠宇 贾彩燕 《计算机科学》 CSCD 北大核心 2020年第4期178-183,共6页

在自然语言理解任务中,注意力机制由于可以有效捕获词在上下文语境中的重要程度并提高自然语言理解任务的有效性而受到了人们的普遍关注。基于注意力机制的非递归深度网络Transformer,不仅以非常少的参数和训练时间取得了机器翻译学习... 在自然语言理解任务中,注意力机制由于可以有效捕获词在上下文语境中的重要程度并提高自然语言理解任务的有效性而受到了人们的普遍关注。基于注意力机制的非递归深度网络Transformer,不仅以非常少的参数和训练时间取得了机器翻译学习任务的最优性能,还在自然语言推理(Gaussian-Transformer)、词表示学习(Bert)等任务中取得了令人瞩目的成绩。目前Gaussian-Transformer已成为自然语言推理任务性能最好的方法之一。然而,在Transformer中引入Gaussian先验分布对词的位置信息进行编码,虽然可以大大提升邻近词的重要程度,但由于Gaussian分布中非邻近词的重要性会快速趋向于0,对当前词的表示有重要作用的非邻近词的影响会随着距离的加深消失殆尽。因此,文中面向自然语言推理任务,提出了一种基于截断高斯距离分布的自注意力机制,该方法不仅可以凸显邻近词的重要性,还可以保留对当前词表示具有重要作用的非邻近词的信息。在自然语言推理基准数据集SNLI和MultiNLI上的实验结果证实,截断高斯距离分布自注意力机制能够更有效地提取句子中词语的相对位置信息。 展开更多

关键词 自然语言推理 自注意力机制 距离掩码 截断高斯掩码

下载PDF 职称材料

基于广义量词单调性的自然语言推理模式研究 被引量：1

18

作者 黄朝阳 张晓君 《安徽大学学报（哲学社会科学版）》 CSSCI 北大核心 2015年第5期34-39,共6页

广义量词理论是现代逻辑学、理论语言学、计算语言学等交叉领域的重点研究内容之一。利用广义量词的单调性可以解释或判断自然语言推理的有效性。对此有十二个事实和十二个推论可以印证。此项研究对计算机科学中的知识推理和广义量词理... 广义量词理论是现代逻辑学、理论语言学、计算语言学等交叉领域的重点研究内容之一。利用广义量词的单调性可以解释或判断自然语言推理的有效性。对此有十二个事实和十二个推论可以印证。此项研究对计算机科学中的知识推理和广义量词理论的发展都具有较为重要的理论价值和实践意义。 展开更多

关键词 广义量词理论 广义量词 集合 单调性 自然语言推理

下载PDF 职称材料

融合外部语义知识的中文文本蕴含识别 被引量：1

19

作者 李世宝 李贺 +3 位作者 赵庆帅 殷乐乐 刘建航 黄庭培 《计算机工程》 CAS CSCD 北大核心 2021年第1期44-49,共6页

基于神经网络的文本蕴含识别模型通常仅从训练数据中学习推理知识,导致模型泛化能力较弱。提出一种融合外部语义知识的中文知识增强推理模型(CKEIM)。根据知网知识库的特点提取词级语义知识特征以构建注意力权重矩阵,同时从同义词词林... 基于神经网络的文本蕴含识别模型通常仅从训练数据中学习推理知识,导致模型泛化能力较弱。提出一种融合外部语义知识的中文知识增强推理模型(CKEIM)。根据知网知识库的特点提取词级语义知识特征以构建注意力权重矩阵,同时从同义词词林知识库中选取词语相似度特征和上下位特征组成特征向量,并将注意力权重矩阵、特征向量与编码后的文本向量相结合融入神经网络的模型训练过程,实现中文文本蕴含的增强识别。实验结果表明,与增强序列推理模型相比,CKEIM在15%、50%和100%数据规模的CNLI训练集下识别准确率分别提升了3.7%、1.5%和0.9%,具有更好的中文文本蕴含识别性能和泛化能力。 展开更多

关键词 中文文本蕴含 自然语言推理 注意力机制 双向长短期记忆网络 知网 词林

下载PDF 职称材料

图像信息对句子语义理解与表示的有效性验证与分析 被引量：1

20

作者 张琨 吕广奕 +2 位作者 吴乐 刘淇 陈恩红 《计算机学报》 EI CSCD 北大核心 2021年第3期476-490,共15页

近年来,图像文本建模研究已经成为自然语言处理领域一个重要的研究方向.图像常被用于增强句子的语义理解与表示.然而也有研究人员对图像信息用于句子语义理解的必要性提出质疑,原因是文本本身就能够提供强有力的先验知识,帮助模型取得... 近年来,图像文本建模研究已经成为自然语言处理领域一个重要的研究方向.图像常被用于增强句子的语义理解与表示.然而也有研究人员对图像信息用于句子语义理解的必要性提出质疑,原因是文本本身就能够提供强有力的先验知识,帮助模型取得非常好的效果;甚至在不使用图像的条件下就能得出正确的答案.因此研究图像文本建模需要首先回答一个问题:图像是否有助于句子语义的理解与表示?为此,本文选择一个典型的不包含图像的自然语言语义理解任务:自然语言推理,并将图像信息引入到该任务中用于验证图像信息的有效性.由于自然语言推理任务是一个单一的自然语言任务,在数据标注过程中没有考虑图像信息,因此选择该任务能够更客观地分析出图像信息对句子语义理解与表示的影响.具体而言,本文提出一种通用的即插即用框架(general plug and play framework)用于图像信息的整合.基于该框架,本文选择目前最先进的五个自然语言推理模型,对比分析这些模型在使用图像信息前后的表现,以及使用不同图像处理模型与不同图像设置时的表现.最后,本文在一个大规模公开数据集上进行了大量实验,实验结果证实图像作为额外知识,确实有助于句子语义的理解与表示.此外,还证实了不同的图像处理模型和使用方法对整个模型的表现也会造成不同的影响. 展开更多

关键词 图像文本建模 句子语义理解与表示 图像信息 即插即用框架 自然语言推理

下载PDF 职称材料