-
题名基于对比学习和焦点损失的持续关系抽取
- 1
-
-
作者
王苏越
马丽丽
陈金广
-
机构
西安工程大学计算机科学学院
-
出处
《计算机系统应用》
2024年第7期180-187,共8页
-
基金
陕西省自然科学基础研究计划(2023-JC-YB-568)
陕西省教育厅科研计划(22JP028)
陕西省计算机学会&翔腾公司基金(XT-QC-202309-119287)。
-
文摘
持续关系抽取旨在训练模型从不断变化的数据流中学习新关系,同时保持对旧关系的准确分类.然而,由于神经网络的灾难性遗忘问题,模型在学习完新关系之后,对旧关系的识别能力往往会大幅度降低.为了缓解灾难性遗忘对模型性能的影响,本文提出了一种基于对比学习和焦点损失的持续关系抽取方法.首先,在训练集与其增强样本集的并集上训练模型,以学习新任务;其次,从训练集中,为每个新关系选取并存储记忆样本;然后,将激活集中的示例与所有已知关系原型进行对比,以学习新旧关系;最后,利用关系原型进行记忆再巩固,并引入焦点损失提高模型对相似关系的区分.在TACRED数据集上进行实验,结果表明本文方法能够进一步缓解灾难性遗忘问题,提升模型的分类能力.
-
关键词
持续关系抽取
灾难性遗忘
对比学习
焦点损失
关系原型
-
Keywords
continual relation extraction
catastrophic forgetting
contrastive learning
focal loss
relation prototype
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
TP18
[自动化与计算机技术—计算机科学与技术]
-
-
题名基于监督对比重放的持续关系抽取
- 2
-
-
作者
赵基藤
李国正
汪鹏
柳沿河
-
机构
东南大学计算机科学与工程学院
-
出处
《中文信息学报》
CSCD
北大核心
2023年第11期60-67,80,共9页
-
基金
“十三五”全军共用信息系统装备预先研究项目(31514020501,31514020503)。
-
文摘
持续关系抽取被用来解决在新关系上重新训练模型而导致灾难性遗忘的问题。该文针对现有持续关系抽取模型存在的最近任务偏倚等问题,提出了一种基于监督对比重放的持续关系抽取方法。具体而言,对每个新任务,首先利用编码器学习新的样本嵌入,接着通过将相同和不同关系类别的样本作为正负样本对,在每次重放的过程中利用监督对比损失,不断学习一个区分能力强的编码器;同时,在监督对比学习过程中利用关系原型进行辅助增强,防止模型过拟合;最后在测试阶段通过最近类均值分类器进行分类。实验结果表明,该文提出的方法可以有效缓解持续关系抽取中的灾难性遗忘问题,在FewRel和TACRED两个数据集上都达到了最先进的持续关系抽取性能。同时,随着任务数量的增加,在训练至5个任务以后,该文模型性能领先最先进的模型性能约1%。
-
关键词
持续关系抽取
监督对比学习
重放
-
Keywords
continual relation extraction
supervised contrastive learning
replay
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
