-
题名融合思维链和低秩自适应微调的方面情感三元组抽取
- 1
-
-
作者
曾碧卿
陈鹏飞
姚勇涛
-
机构
华南师范大学软件学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2024年第7期53-62,共10页
-
基金
广东省普通高校人工智能重点领域专项(2019KZDZX1033)
广东省基础与应用基础研究基金(2021A1515011171)
广州市基础研究计划基础与应用基础研究项目(202102080282)。
-
文摘
方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。
-
关键词
方面情感三元组抽取
大型语言模型
低秩自适应微调
思维链
提示学习
-
Keywords
Aspect Sentiment Triplet Extraction(ASTE)
Large Language Model(LLM)
low-rank adaptation(lora)fine-tuning
Chain-Of-Thought(COT)
prompt learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
