-
题名基于多粒度交互推理的答案选择方法研究
被引量：1
- 1
-
-
作者
金志凌
朱鸿雨
苏玉兰
唐竑轩
洪宇
张民
-
机构
苏州大学计算机科学与技术学院
-
出处
《中文信息学报》
CSCD
北大核心
2023年第1期104-111,120,共9页
-
基金
科技部重点研发项目(2017YFB1002104)。
-
文摘
预训练语言模型已经广泛应用于不同自然语言处理任务,其蕴含的自注意力机制能够在“文本对子”之上形成统一的语义编码表示,从而使BERT模型的输入结构和运算模式理论上适用于处理“目标问题和候选答案”样本。然而,直接应用BERT等语言模型将面临两种局限性:①BERT并不侧重词块、短语和子句的独立语义信息表示,使得文本在匹配过程中往往错失不同颗粒度语义相关性的感知;②BERT中的多头注意力机制不能在不同粒度的语义结构之间计算交互强度(相关性)。针对上述问题,该文提出一种基于BERT的多粒度交互推理网络,该方法将问题与候选答案的语言信息进行多粒度语义编码,丰富了句子间的语义信息与交互性。此外,该文提出句子级的编码损失策略,借以提高编码过程对关键子句的加权能力。在WPQA数据集上的实验结果显示,该方法有效提高了非事实性问题的答案选择性能。
-
关键词
答案选择
预训练模型
多粒度编码
-
Keywords
answer selection
pre-trained model
multi-granularity encoding
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
