基于领域大语言模型的古籍分词研究 被引量：3

1

作者 朱丹浩 赵志枭 +3 位作者 吴娜 王希羽 孙光耀 王东波 《科技情报研究》 CSSCI 2024年第2期11-20,共10页

[目的/意义]文章以古籍自动分词为切入点,引入“荀子”系列大语言模型,对大语言模型在古籍文本分词任务上的表现进行了探讨。[方法/过程]文章基于《左传》分词语料,进行了数据清洗和整理,构建了指令数据集,在此基础上,从数据集中抽取了1... [目的/意义]文章以古籍自动分词为切入点,引入“荀子”系列大语言模型,对大语言模型在古籍文本分词任务上的表现进行了探讨。[方法/过程]文章基于《左传》分词语料,进行了数据清洗和整理,构建了指令数据集,在此基础上,从数据集中抽取了1 000条作为测试数据,并分别使用500、1 000、2 000、5 000条数据作为训练数据进行指令微调,并测试其性能。[结果/结论]实验结果表明,只需要少量的数据,大语言模型就可以有较为理想的表现,在微调数据量达到5 000条数据时,Xunzi-Qwen-7B模型表现出了最优性能,F1值达到84.54%。 展开更多

关键词 “荀子”大模型 《左传》 分词 指令微调

下载PDF 职称材料

领域大语言模型下的古籍词性标注应用研究 被引量：3

2

作者 朱丹浩 赵志枭 +3 位作者 胡蝶 赵文华 孙光耀 王东波 《科技情报研究》 CSSCI 2024年第2期21-29,共9页

[目的/意义]大语言模型的发展为古籍文本挖掘带来了新的思路,将大语言模型与古籍数字化、智能化相结合是新时代古籍工作的必经之路。[方法/过程]文章使用《左传》词性标注语料,通过数据清洗和预处理,构建了一批高质量的词性标注指令数据... [目的/意义]大语言模型的发展为古籍文本挖掘带来了新的思路,将大语言模型与古籍数字化、智能化相结合是新时代古籍工作的必经之路。[方法/过程]文章使用《左传》词性标注语料,通过数据清洗和预处理,构建了一批高质量的词性标注指令数据,在此基础上,分别使用500、1 000、2 000、5 000条数据对大语言模型进行指令微调,并在另外1 000条数据上进行性能测试。[结果/结论]实验结果表明,“荀子”系列模型在古籍文本词性标注任务上性能优于通用领域模型,在微调数据量达到5 000时,Xunzi-Baichuan2-7B模型表现出了最优性能,F1值达到81.67%。 展开更多

关键词 大语言模型 “荀子”大模型 《左传》 词性标注 指令微调

下载PDF 职称材料

面向开源情报的信息抽取大语言模型

3

作者 赵勤博 王又辰 +3 位作者 陈荣 宋颖毅 栾真 田夫兰 《计算机工程与设计》 北大核心 2024年第12期3772-3778,共7页

针对开源情报信息抽取过程依赖多类专用模型和抽取属性限制强等问题,基于一种GLM大语言模型进行指令微调和上下文学习提高信息抽取准确率,利用指令自动化生成方法对原始问题进行泛化,构建SFT数据集。开展多任务统一的微调学习常见抽取模... 针对开源情报信息抽取过程依赖多类专用模型和抽取属性限制强等问题,基于一种GLM大语言模型进行指令微调和上下文学习提高信息抽取准确率,利用指令自动化生成方法对原始问题进行泛化,构建SFT数据集。开展多任务统一的微调学习常见抽取模式,通过自动思维链扩充提示增强模型推理能力。实验结果表明,该方法在开源情报命名实体识别、关系抽取和事件抽取任务上,微调模型能满足不同场景下的抽取要求,具有较好的抽取效果。 展开更多

关键词 开源情报 大语言模型 信息抽取 指令自动化生成 指令微调 上下文学习 自动思维链

下载PDF 职称材料

基于多模态推荐指令的大语言模型指令微调

4

作者 郝博文 柳溢菲 +2 位作者 李立耀 王洁 彭岩 《北京邮电大学学报》 EI CAS CSCD 北大核心 2024年第4期36-43,共8页

基于多模态指令的大语言模型指令微调能够有效赋予大模型解决相关多模态任务的能力。为了进一步使大模型能够完成多模态零样本或少样本推荐任务,提出了多模态推荐大语言模型,该模型以大语言模型ChatGLM2-6B为基座,选取包含文本、图片信... 基于多模态指令的大语言模型指令微调能够有效赋予大模型解决相关多模态任务的能力。为了进一步使大模型能够完成多模态零样本或少样本推荐任务,提出了多模态推荐大语言模型,该模型以大语言模型ChatGLM2-6B为基座,选取包含文本、图片信息的多模态推荐数据集,利用ChatGPT和GPT4构建多模态用户画像和物品属性生成指令,以及零样本和少样本推荐指令,并采用高效参数微调P-tuning v2方式,仅需用一张A100 40GB图形处理器即可微调得到多模态推荐大语言模型,用于完成多模态零样本和少样本推荐任务。实验结果证明,所提模型显著优于现有基线模型。 展开更多

关键词 多模态推荐指令 大语言模型 指令微调

原文传递

基于大型语言模型指令微调的心理健康领域联合信息抽取

5

作者 蔡子杰 方荟 +2 位作者 刘建华 徐戈 龙云飞 《中文信息学报》 CSCD 北大核心 2024年第8期112-127,共16页

信息抽取目的在于从文本中提取关键的信息。心理健康领域的信息抽取能力反映了语言模型对人类心理健康相关信息的自然语言理解能力。提高语言模型的领域信息抽取能力,还能为AI心理健康服务提供重要的知识来源。但目前心理健康信息抽取... 信息抽取目的在于从文本中提取关键的信息。心理健康领域的信息抽取能力反映了语言模型对人类心理健康相关信息的自然语言理解能力。提高语言模型的领域信息抽取能力,还能为AI心理健康服务提供重要的知识来源。但目前心理健康信息抽取的中文指令数据集十分匮乏,这限制了相关研究和应用的发展。针对以上问题,该文在心理学专家的指导下提示ChatGPT生成样本实例,并通过设计生成指令以及数据增强,构建了5641条包含命名实体识别、关系抽取和事件抽取三项基本抽取任务的心理健康领域联合信息抽取指令数据集,旨在填补心理健康领域信息抽取中文指令数据集的不足。随后使用该指令数据集对大型语言模型进行参数高效微调。与基线模型的性能对比以及人工评估的实验结果表明,大型语言模型经过有效的指令微调后可以完成心理健康领域信息抽取的联合任务。 展开更多

关键词 信息抽取 心理健康 大型语言模型 指令微调

下载PDF 职称材料

一种基于大语言模型的SQL注入攻击检测方法 被引量：1

6

作者 黄恺杰 王剑 陈炯峄 《信息网络安全》 CSCD 北大核心 2023年第11期84-93,共10页

SQL注入攻击是一种被攻击者广泛使用的网络攻击手段,严重威胁网络空间安全。传统的SQL注入攻击检测方法主要有基于规则和基于机器学习两种,这些方法存在泛用性较差且误报率高的问题。文章提出一种基于大语言模型的SQL注入攻击检测方法,... SQL注入攻击是一种被攻击者广泛使用的网络攻击手段,严重威胁网络空间安全。传统的SQL注入攻击检测方法主要有基于规则和基于机器学习两种,这些方法存在泛用性较差且误报率高的问题。文章提出一种基于大语言模型的SQL注入攻击检测方法,利用提示工程和指令微调技术,得到SQL注入攻击检测专用大语言模型;通过分析迭代轮数、微调样本数以及推理参数对模型性能的影响,探索提升大语言模型检测能力的途径;依托大语言模型强大的语义理解能力,降低检测误报率。对文章所提的SQL注入攻击检测专用大语言模型在Kaggle数据集上进行实验分析,结果表明其准确率达到99.85%以上,误报率低于0.2%,F1值达到0.999,相较于目前较先进的SQL注入攻击检测方法,在检测性能上有较大提升。 展开更多

关键词 SQL注入攻击 攻击检测 大语言模型 提示工程 指令微调

下载PDF 职称材料

图书情报领域大模型的应用模式和数据治理 被引量：21

7

作者 刘倩倩 刘圣婴 刘炜 《图书馆杂志》 CSSCI 北大核心 2023年第12期22-35,共14页

本文探讨了图书情报领域大语言模型的应用开发与数据治理要求。大语言模型是依赖海量文本数据,经过无监督预训练及有监督标注数据微调而成。领域大模型则是通用大模型经过领域数据的微调而得到,具备解决领域问题的能力,满足领域应用需... 本文探讨了图书情报领域大语言模型的应用开发与数据治理要求。大语言模型是依赖海量文本数据,经过无监督预训练及有监督标注数据微调而成。领域大模型则是通用大模型经过领域数据的微调而得到,具备解决领域问题的能力,满足领域应用需求。本文首先回顾了生成式人工智能的突破历程,介绍了大模型的基本原理和应用现状,分析了大模型所具备的多任务能力背后的数据因素和数据需求。最后从数据治理角度重点讨论了领域大模型的应用潜力和方法流程。本文的主要贡献在于分析了图书情报领域大模型的应用模式和数据治理,为图书馆行业应用生成式人工智能技术提供了理论依据和实践指导。同时,文章也讨论了行业大模型应用和评估时需要关注的问题和局限性。 展开更多

关键词 大语言模型 领域大模型 大模型应用开发 数据治理 指令微调 图书情报

下载PDF 职称材料

语言大模型的演进与启示 被引量：16

8

作者 陶建华 聂帅 车飞虎 《中国科学基金》 CSSCI CSCD 北大核心 2023年第5期767-775,共9页

2022年11月,OpenAI推出对话人工智能大模型ChatGPT,展现了令人惊艳的自然语言理解和生成能力,并具备了跨学科、多场景、多用途的通用性,在很多任务上的性能达到了人类专家的水平,引起了产业界和学术界的广泛关注。以ChatGPT为代表的大... 2022年11月,OpenAI推出对话人工智能大模型ChatGPT,展现了令人惊艳的自然语言理解和生成能力,并具备了跨学科、多场景、多用途的通用性,在很多任务上的性能达到了人类专家的水平,引起了产业界和学术界的广泛关注。以ChatGPT为代表的大模型技术实现了人工智能技术从“量变”到“质变”的跨越,有望发展成为人工智能关键基础设施赋能百业,加速推进国民经济的高质量发展。本文首先回顾了大模型技术的演进历程,从技术、应用、生态等多个角度阐述大模型技术引发的新一轮人工智能变革,并指出大模型技术可能带来的风险和挑战,最后给出了我国大模型发展的一些启示与展望。 展开更多

关键词 ChatGPT 大模型 预训练 指令微调

原文传递

超越聊天机器人,走向通用人工智能——ChatGPT的成功之道及其对语言学的启示 被引量：6

9

作者 袁毓林 《当代语言学》 CSSCI 北大核心 2023年第5期633-652,共20页

本文首先说明ChatGPT是一个通用的自然语言处理平台,是走向通用人工智能的基石,可以成为人工智能生成内容的开发平台。然后,从算法模型(生成式预训练+微调)、指令微调(在上下文中学习和思维链等提示策略)、跟人对齐(基于人类反馈的强化... 本文首先说明ChatGPT是一个通用的自然语言处理平台,是走向通用人工智能的基石,可以成为人工智能生成内容的开发平台。然后,从算法模型(生成式预训练+微调)、指令微调(在上下文中学习和思维链等提示策略)、跟人对齐(基于人类反馈的强化学习)等角度,介绍ChatGPT的技术原理和工程构架,以及人工智能专家和语言学家对它的批评意见。最后,介绍ChatGPT研发的缘起和GPT-4所达到的心智理论水平,特别介绍心理语言学家对于ChatGPT的语言运用能力的测验,介绍他们检验大型语言模型和人类在语言预测方面相似性的有关实验,演示一种新兴的语言学实验范式。 展开更多

关键词 ChatGPT (通用)人工智能 生成式预训练 指令微调 跟人对齐

原文传递

基于多模态大语言模型的攻击性模因解释生成方法 被引量：1

10

作者 林萌 戴程威 郭涛 《计算机研究与发展》 EI CSCD 北大核心 2024年第5期1206-1217,共12页

随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了... 随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能. 展开更多

关键词 攻击性模因 解释生成 多模态大语言模型 数据增强 指令微调

下载PDF 职称材料

油气大模型发展方向及实施关键路径

11

作者 熊华平 赵春宇 刘万伟 《大庆石油地质与开发》 CAS 北大核心 2024年第3期214-224,共11页

大庆油田历经60余年的勘探开发,面临着理论创新、技术突破和现场实施等诸多挑战。在这个过程中,传统的数学模型在处理复杂的地质数据和工程数据时已接近瓶颈,需要探索新的研究范式。近年来,大模型特别是多模态生成式大模型作为一种基于... 大庆油田历经60余年的勘探开发,面临着理论创新、技术突破和现场实施等诸多挑战。在这个过程中,传统的数学模型在处理复杂的地质数据和工程数据时已接近瓶颈,需要探索新的研究范式。近年来,大模型特别是多模态生成式大模型作为一种基于大数据、大模型的智能化技术,能够处理大规模、异源、异构的数据,有望更好地应对油气勘探开发领域中的复杂性和不确定性,重塑油气领域的数字化流程,成为油气行业新的发展契机。从油气大模型产生的技术需求、时代背景出发,探索油气大模型技术体系,对油气大模型建设提出设想。具体方案从建设目标、建设原则开始,设计技术架构、给出实施路径,横向上规划4个实施阶段、纵向上规划4个研究领域,设计15项关键任务,进一步为大模型落地,规划了数据库、知识库、成果库和协同研究4项配套体系建设、制定13项关键技术,逐步推进大模型对“数”“图”“体”的理解,最后对大模型在未来油气研究领域的应用场景进行了展望。 展开更多

关键词 油气大模型 多模态 生成式预训练模型 垂直领域模型 指令微调

下载PDF 职称材料

基于大语言模型的多模态社交媒体信息流行度预测研究

12

作者 王洁 王子曈 +1 位作者 彭岩 郝博文 《通信学报》 EI CSCD 北大核心 2024年第11期141-156,共16页

针对现有多模态社交媒体信息流行度预测算法对特征依赖强、泛化能力不足、面对少样本/冷启动环境表现不佳的问题,提出了一种基于大语言模型指令微调和人类对齐的多模态社交媒体流行度预测模型MultiSmpLLM。首先,定义面向冷启动用户的多... 针对现有多模态社交媒体信息流行度预测算法对特征依赖强、泛化能力不足、面对少样本/冷启动环境表现不佳的问题,提出了一种基于大语言模型指令微调和人类对齐的多模态社交媒体流行度预测模型MultiSmpLLM。首先,定义面向冷启动用户的多模态社交媒体流行度预测任务。其次,构建多模态微调指令,并分别通过低秩适配微调(LoRA)和冻结微调(Freeze)方法对大语言基座模型(Llama3)进行指令微调。最后,提出了一种改进直接偏好优化(DPO)的算法IDPOP,通过构造偏好数据,并对DPO损失函数施加由参数调节的惩罚项,解决了基于人类反馈的强化学习(RLHF)算法训练不稳定、不收敛,以及标准DPO在社交媒体流行度预测任务中产生错误优化的问题。实验结果表明,MultiSmpLLM显著优于传统多模态预测模型和GPT-4o等多模态大语言模型。 展开更多

关键词 大语言模型 流行度预测 指令微调 人类对齐

下载PDF 职称材料

CFB:金融领域大模型评估方法

13

作者 李毅 李浩 +1 位作者 许骁哲 杨一凡 《计算机科学与探索》 CSCD 北大核心 2024年第12期3272-3287,共16页

随着大语言模型(LLM)在金融领域的应用潜力不断显现,评估金融大模型的性能变得尤为重要。然而,由于当下的金融评估方法评估任务单一、评测数据集覆盖面不足以及测评基准数据污染等方面的局限,大模型在金融领域的潜力尚未得到充分探索。... 随着大语言模型(LLM)在金融领域的应用潜力不断显现,评估金融大模型的性能变得尤为重要。然而,由于当下的金融评估方法评估任务单一、评测数据集覆盖面不足以及测评基准数据污染等方面的局限,大模型在金融领域的潜力尚未得到充分探索。基于此,提出了中文金融大模型评估方法CFB,构建36个数据集,涵盖24个金融任务,涉及多项问答、术语解释、文本生成、文本翻译、分类任务、语步识别、预测决策7个金融大模型测评任务,并构建了相应的测评基准。CFB提出的新思路包括:更广泛的任务和数据范围,引入了基于LLM的基准去污方法以及基于指令微调、知识检索增强和提示词工程3种方法的评估。并对包括GPT-4o、ChatGPT和Gemini在内的12个LLM进行了评估,实验结果显示,虽然LLM在信息提取和文本分析方面表现出色,但在高级推理和复杂任务方面存在困难。GPT-4o在信息提取和股票交易方面表现突出,而Gemini在文本生成和预测方面更胜一筹。经过指令微调的LLM在文本分析上有所提升,但对复杂任务提供的益处有限。 展开更多

关键词 金融大模型 评估基准 提示词工程 知识检索增强 指令微调

下载PDF 职称材料

基于ChatGLM2-6B的电力企业财务知识问答方法

14

作者 叶雪 杨晟 +1 位作者 程凯 朱峰 《计算机与现代化》 2024年第11期54-63,共10页

随着电力系统规模的不断增长,在日常财务处理中产生了大量重复和复杂的工作内容,传统的财务知识组织和管理方式已经无法满足当前电力系统的需要。基于此,本文提出一种基于大规模语言模型ChatGLM2-6B构建财务事理图谱的方法,用于规范化... 随着电力系统规模的不断增长,在日常财务处理中产生了大量重复和复杂的工作内容,传统的财务知识组织和管理方式已经无法满足当前电力系统的需要。基于此,本文提出一种基于大规模语言模型ChatGLM2-6B构建财务事理图谱的方法,用于规范化财务管理和项目管理流程,辅助财务决策。首先,通过指令微调和提示学习等方式优化ChatGLM2-6B模型,使其分别从合同和票据数据中抽取出事件和事件关系对;其次,通过FAISS向量数据库将事件关系对保存为本地知识库,并训练一个FAISS-ERNIE相似度评估模型提升模型的知识检索能力,实现财务数据的智能问答;最后,利用层次聚类算法泛化事件关系对,分别得到合同事理图谱和票据事理图谱,用于对实时的财务操作进行规范化指引和监督,实现财务执行的透明化。实验结果表明,本文提出的方法在事件抽取、事件关系对抽取以及相似度检索等方面均展现出优异的性能,所构建的合同和票据事理图谱对于电力企业的财务管理具有重要意义,有助于提升企业管理水平。 展开更多

关键词 ChatGLM2-6B ERNIE FAISS向量数据库 指令微调 提示学习

下载PDF 职称材料