-
题名大语言模型在数学推理中的研究进展
- 1
-
-
作者
罗焕坤
葛一烽
刘帅
-
机构
华南师范大学软件学院
中国科学技术大学先进技术研究院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2024年第9期1-17,共17页
-
文摘
全面概述大语言模型(LLM)在数学推理中的研究进展、机制原理以及应用趋势,为后续开展相关研究提供参考借鉴。选取与大语言模型在数学推理领域相关的122篇文献。系统描述了数学推理问题的类型及其数据集,分别从增强模型推理能力的策略和思维链提示方法这两方面深入解析各技术的原理、应用价值和存在问题。通过定性分析,提出未来可能的研究方向。大语言模型相关研究发展迅速,相关调研工作可能未覆盖完整。基于思维链提示技术、微调、利用编程语言等外部工具、验证机制等方法可以有效提升大语言模型的数学推理能力,特别是基于思维链提示的方法成为当前大语言模型的主要研究热点。未来研究工作可在进一步提升大语言模型的推理能力、提出解决数学推理问题的新方法等方面展开深入研究。
-
关键词
大语言模型
数学推理
思维链
GPT-4
微调
-
Keywords
Large Language Model(LLM)
mathematical reasoning
chain-of-thought(cot)
GPT-4
fine-tuning
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名融合思维链和低秩自适应微调的方面情感三元组抽取
- 2
-
-
作者
曾碧卿
陈鹏飞
姚勇涛
-
机构
华南师范大学软件学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2024年第7期53-62,共10页
-
基金
广东省普通高校人工智能重点领域专项(2019KZDZX1033)
广东省基础与应用基础研究基金(2021A1515011171)
广州市基础研究计划基础与应用基础研究项目(202102080282)。
-
文摘
方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。
-
关键词
方面情感三元组抽取
大型语言模型
低秩自适应微调
思维链
提示学习
-
Keywords
Aspect Sentiment Triplet Extraction(ASTE)
Large Language Model(LLM)
Low-Rank Adaptation(LoRA)fine-tuning
chain-Of-thought(cot)
prompt learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-