ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路 被引量：61

1

作者 赵朝阳 朱贵波 王金桥 《数据分析与知识发现》 CSCD 北大核心 2023年第3期26-35,共10页

【目的】剖析ChatGPT的基础技术原理,探讨其对大语言模型发展产生的影响,以及对多模态大模型发展思路产生的影响。【方法】通过分析ChatGPT的发展过程和技术原理,探讨指令微调、数据采集与标注、基于人类反馈的强化学习等模型构建方法... 【目的】剖析ChatGPT的基础技术原理,探讨其对大语言模型发展产生的影响,以及对多模态大模型发展思路产生的影响。【方法】通过分析ChatGPT的发展过程和技术原理,探讨指令微调、数据采集与标注、基于人类反馈的强化学习等模型构建方法对大语言模型产生的影响。分析当前多模态大模型构建过程中遇到的关键科学问题,并借鉴ChatGPT的技术方案,探讨多模态大模型未来的发展发展思路。【结论】ChatGPT为预训练大模型向下游任务的发展提供了良好的参考技术路径,未来的多模态大模型构建以及下游任务实现过程中,可以充分利用高质量的指令微调等技术来显著提升多模态大模型的下游任务性能。 展开更多

关键词 语言大模型 预训练大模型 多模态预训练模型 ChatGPT

原文传递

基于大模型增强的通用人工智能教师架构 被引量：7

2

作者 余胜泉 熊莎莎 《开放教育研究》 北大核心 2024年第1期33-43,共11页

以ChatGPT为代表的预训练大模型在教育界产生了巨大影响,也为发展通用人工智能教师带来了曙光。预训练大模型应用于教育存在幻觉、深度逻辑缺失、社会情感缺失等局限,如果这些关键问题不解决,大模型不可能在教育中得到真正有价值的应用... 以ChatGPT为代表的预训练大模型在教育界产生了巨大影响,也为发展通用人工智能教师带来了曙光。预训练大模型应用于教育存在幻觉、深度逻辑缺失、社会情感缺失等局限,如果这些关键问题不解决,大模型不可能在教育中得到真正有价值的应用。本文提出通过增强大模型构建通用人工智能教师架构,其核心思路是精调训练增强场景知识、检索增强认知、外部智能组件编排增强推理、多模态融合增强感知、情感计算增强社会情感,再通过教育知识图谱对大模型输出进行监督。通用人工智能教师主要有六种应用场景:需要渊博知识的场景、洞察创意增强场景、约束与管理场景、社会情感互动场景、个性化指导与反馈场景、多模态内容表现场景。文章最后分析了通用智能时代人类教师面临的机遇与挑战,提出教师需要主动拥抱、使用、驾驭并控制智能技术,解放、增强、进化自我,并跨越陷阱。 展开更多

关键词 人工智能教师 生成式人工智能 预训练大模型 人工智能教育应用

下载PDF 职称材料

垂直领域大模型的定制化:理论基础与关键技术

3

作者 陈浩泷 陈罕之 +3 位作者 韩凯峰 朱光旭 赵奕晨 杜滢 《数据采集与处理》 CSCD 北大核心 2024年第3期524-546,共23页

随着ChatGPT等基于大模型的产品展现出强大的通用性能,学术界和工业界正积极探索如何将这些模型适配到特定行业和应用场景中,即进行垂直领域大模型的定制化。然而,现有的通用大模型可能无法完全适配特定领域数据的格式,或不足以捕捉该... 随着ChatGPT等基于大模型的产品展现出强大的通用性能,学术界和工业界正积极探索如何将这些模型适配到特定行业和应用场景中,即进行垂直领域大模型的定制化。然而,现有的通用大模型可能无法完全适配特定领域数据的格式,或不足以捕捉该领域的独特需求。因此,本文旨在探讨垂直领域大模型定制化的方法论,包括大模型的定义和类别、通用架构的描述、大模型有效性背后的理论基础,以及几种可行的垂直领域大模型构建方法,期望通过这些内容为相关领域的研究者和从业者在垂直领域大模型定制化方面提供指导和参考。 展开更多

关键词 人工智能 垂直领域大模型 多模态大模型 预训练大模型 大模型微调

下载PDF 职称材料

生成式人工智能的工业应用技术与前景

4

作者 张朋 张洁 《自动化仪表》 CAS 2024年第8期1-10,共10页

随着在工业应用中的不断深化,人工智能(AI)逐渐面临场景定制化、数据要求高、动态环境适应性差等问题。以生成式人工智能(AIGC)为代表的通用AI为突破传统AI的瓶颈提供了新思路。为推动AIGC与工业领域的融合创新、抢占下一轮科技革命的... 随着在工业应用中的不断深化,人工智能(AI)逐渐面临场景定制化、数据要求高、动态环境适应性差等问题。以生成式人工智能(AIGC)为代表的通用AI为突破传统AI的瓶颈提供了新思路。为推动AIGC与工业领域的融合创新、抢占下一轮科技革命的技术高地,对AIGC技术及其工业应用展开综述。首先,梳理了国内外AIGC技术的发展现状,总结了当前AIGC工业应用面临的问题和挑战。然后,提出了AIGC在工业领域应用的技术架构,以及通用大模型集成、通用大模型微调与知识库外挂、预训练工业大模型这三种应用模式。最后,从研发设计、生产制造、经营管理以及运维服务等四个方面的十二个场景作应用展望,以激发AIGC工业应用的新技术、新方向的进一步发展,赋能工业领域形成新质生产力。 展开更多

关键词 生成式人工智能 工业应用 通用大模型 人工智能 大模型集成 大模型微调 预训练大模型

下载PDF 职称材料

论通用人工智能治理中管制与反垄断的协同 被引量：1

5

作者 许丽 《上海政法学院学报（法治论丛）》 2024年第1期117-132,共16页

随着专用人工智能向通用人工智能技术的发展,通用大模型接入各行业具有通用性,显现出公用事业属性与自然垄断属性。如何实现从具体应用提供者行为规制向通用人工智能服务提供者管制的转变,将提供通用大模型技术支持作为法律治理的对象,... 随着专用人工智能向通用人工智能技术的发展,通用大模型接入各行业具有通用性,显现出公用事业属性与自然垄断属性。如何实现从具体应用提供者行为规制向通用人工智能服务提供者管制的转变,将提供通用大模型技术支持作为法律治理的对象,是当前通用人工智能治理面临的难题。通用人工智能服务提供者的政府管制与反垄断有不同的干预目标和干预理念,是相互独立、相互平行但可以彼此协同的两种治理行为。通用人工智能行业管制应重点转向对服务提供者数据开放与算法备案的实现,反垄断执法应重塑行为违法判定规则,贯彻柔性执法理念,引入敏捷治理新方式。基于反垄断执法仅对市场失灵进行矫正,行业管制能有效矫治结构性失灵,在此基础上应实现针对通用人工智能服务提供者由政府主导走向“行业管制—反垄断执法—通用人工智能服务提供者自治”多元协同治理,从而在最大程度上发挥通用人工智能技术效能,同时减少新兴技术对社会发展造成的负面冲击。 展开更多

关键词 通用人工智能 预训练大模型 反垄断 行业管制

下载PDF 职称材料

人工智能技术在新华社统一数据库中的应用 被引量：2

6

作者 孟庆玉 《中国传媒科技》 2023年第10期11-14,共4页

[目的]为适应媒体融合发展需要,充分挖掘数据价值,实现技术引领业务发展。[方法]新华社大数据中心应用预训练大模型和向量数据库等人工智能技术,整合文本、图片、声音、图像等数据形式,推出了语义搜索、图片检索、人像检索、声音和视频... [目的]为适应媒体融合发展需要,充分挖掘数据价值,实现技术引领业务发展。[方法]新华社大数据中心应用预训练大模型和向量数据库等人工智能技术,整合文本、图片、声音、图像等数据形式,推出了语义搜索、图片检索、人像检索、声音和视频检索等服务,建成统一数据库系统。[结果][结论]该系统解决了采编业务痛点,辅助内容生产,推动了新闻内容全流程的自动化、智能化,实现了从单纯的稿件管理到内容产品服务的升级跨越。 展开更多

关键词 人工智能 预训练大模型 向量数据库 语义搜索 多模态检索

下载PDF 职称材料

基于预训练大模型的智能运维系统平台构建 被引量：2

7

作者 刘晨光 金峻民 王钰龙 《技术与市场》 2023年第9期13-18,共6页

随着城市轨道交通的快速发展,车辆的可靠性、运营效率和安全性等面临着越来越大的挑战。传统的轨道交通车辆维护方案主要依赖人工作业检查和定期修程进行预防性维修,在现有的体系下已经无法再大幅度提高检修效率和保障安全运营。以武汉... 随着城市轨道交通的快速发展,车辆的可靠性、运营效率和安全性等面临着越来越大的挑战。传统的轨道交通车辆维护方案主要依赖人工作业检查和定期修程进行预防性维修,在现有的体系下已经无法再大幅度提高检修效率和保障安全运营。以武汉轨道交通16号线为例,探讨智能运维系统的发展和应用,研究构建以“低代码平台+人工智能大模型”为核心的城市轨道交通车辆智慧运维服务体系,降低正线故障率和延误率,提高检修效率与列车运行安全水平,打造智慧高效地铁。 展开更多

关键词 城市轨道交通 智能运维系统 预训练大模型 智慧地铁

下载PDF 职称材料

基于ETW⁃BERT模型的网购商品虚假评论识别

8

作者 陈润萌 宋益善 +1 位作者 王胤哲 梁靖韵 《现代计算机》 2024年第3期83-89,共7页

针对网购商品虚假评论识别问题,提出基于BERT双向预训练微调模型的假评识别方法。分析评论的文本、情感和时间特征,提出人工标注评论数据的12条规则,人工标注从京东网购平台爬取部分电子类产品的中文评论,获得5190条标注数据。对BERT的... 针对网购商品虚假评论识别问题,提出基于BERT双向预训练微调模型的假评识别方法。分析评论的文本、情感和时间特征,提出人工标注评论数据的12条规则,人工标注从京东网购平台爬取部分电子类产品的中文评论,获得5190条标注数据。对BERT的微调过程加入权重协方差对齐算法得到模型W⁃BERT,嵌入情感估值和时间特征得到模型ET⁃BERT,融合两者得到模型ETW⁃BERT。对上述标注数据集的实验表明,三个改进模型都取得了比BERT基础模型更好的效果。 展开更多

关键词 虚假评论 BERT 预训练大模型 情感估值 时间特征

下载PDF 职称材料

人工智能大模型发展带来的风险挑战和对策

9

作者 徐峰 赛秋玥 +1 位作者 刘鑫怡 刘乾 《学术前沿》 北大核心 2024年第13期72-78,共7页

近年来,以预训练大模型为代表的人工智能技术能力快速提升,也加速推动人工智能技术与科技、经济、社会发展深度融合,成为新一轮科技革命和产业变革的重要驱动力量。作为一项新兴技术,人工智能的“双刃剑”效应使得技术在快速进步和应用... 近年来,以预训练大模型为代表的人工智能技术能力快速提升,也加速推动人工智能技术与科技、经济、社会发展深度融合,成为新一轮科技革命和产业变革的重要驱动力量。作为一项新兴技术,人工智能的“双刃剑”效应使得技术在快速进步和应用的同时,也引发了全球对其可能带来各类风险挑战的担忧。特别是随着大模型技术的突破,人工智能可能带来的风险挑战发生了一些新的变化。因此,需要在充分把握人工智能技术发展规律的基础上,从政策法规、技术能力、标准规范等多个方面采取针对性的治理之策,深化全球协作,共同应对风险挑战。 展开更多

关键词 人工智能 预训练大模型 风险挑战 治理对策

下载PDF 职称材料

大模型安全与治理探讨 被引量：1

10

作者 朱军 董胤蓬 《中国信息安全》 2023年第8期57-60,共4页

预训练大模型近年来取得了快速发展,也被广泛应用于各个领域,但其内在的安全风险仍然十分严峻,亟需从技术和治理等角度解决大模型的安全性问题。本文深入探讨了预训练大模型的安全风险和治理方法,从幻觉、不良信息、隐私泄露、偏见等角... 预训练大模型近年来取得了快速发展,也被广泛应用于各个领域,但其内在的安全风险仍然十分严峻,亟需从技术和治理等角度解决大模型的安全性问题。本文深入探讨了预训练大模型的安全风险和治理方法,从幻觉、不良信息、隐私泄露、偏见等角度分析大模型的安全风险,并介绍了数据清洗、基于人类或AI反馈的强化学习,以及安全性评估等方面的安全性加固技术。针对当前大模型安全性治理,提出了在国家层面上加强大模型安全保障体系建设、推动全球网络空间共同体的建设以及加大科研投入等建议,以期不断提升预训练大模型的安全性,让人工智能更安全地服务于人类。 展开更多

关键词 预训练大模型 安全风险 安全治理

下载PDF 职称材料

基于端云协同体系的预训练大模型及其服务化 被引量：3

11

作者 杨洋 况琨 +7 位作者 陈政聿 孙逸飞 方陶然 张圣宇 孙建凯 杨鑫 杨红霞 吴飞 《人工智能》 2022年第6期103-120,共18页

传统云计算模式将所有数据集中,以中心化原则在云上训练大模型,通过云服务支撑端侧多样服务需求,这一模式存在网络时延大、隐私安全低和算力成本高等不足。在“泛在互联、移动优先、AI赋能”时代,需要机器学习支撑丰富多样端侧应用,因... 传统云计算模式将所有数据集中,以中心化原则在云上训练大模型,通过云服务支撑端侧多样服务需求,这一模式存在网络时延大、隐私安全低和算力成本高等不足。在“泛在互联、移动优先、AI赋能”时代,需要机器学习支撑丰富多样端侧应用,因此建立端云协同计算范式,既提供云上服务和端侧推理能力,又推动云上模型和端侧模型的协同进化,从云计算和端智能向端云协同进化计算模式进行跨越,充分发挥云上、端侧和端云链中各类计算资源的最佳效果是当前的重大挑战。本文围绕云上预训练大模型、端云协同体系、基于端云协同体系的预训练大模型服务化与隐私保护,以及未来挑战进行了讨论。 展开更多

关键词 端云协同 预训练大模型 大模型服务化 隐私保护

下载PDF 职称材料

大模型辅助的域适应算法在基因预测的应用

12

作者 田雨竹 关佶红 《智能计算机与应用》 2023年第12期191-194,F0003,共5页

域适应问题旨在解决由于源数据集和目标数据集存在域偏差,导致在源数据集上训练的模型在目标数据集上的泛化能力差的问题。当前域适应领域的工作通过强制特征空间中目标数据和源数据同分布,来对齐两个域的数据,从而提高模型在目标数据... 域适应问题旨在解决由于源数据集和目标数据集存在域偏差,导致在源数据集上训练的模型在目标数据集上的泛化能力差的问题。当前域适应领域的工作通过强制特征空间中目标数据和源数据同分布,来对齐两个域的数据,从而提高模型在目标数据上的表现,这类方法在以下两种情况下表现不佳:一是两部分数据存在各自特有的类别;二是目标数据集原始特征质量不佳。针对这两个问题,本文提出使用预训练大模型增强目标数据集特征表示,且保留两个域数据的分布差异的域适应算法,并将其应用在生物信息中的空间数据缺失基因预测问题上。通过在多个数据集上的实验,本文提出的缺失基因预测方法在预测准确性上有所提升。 展开更多

关键词 域适应问题 预训练大模型 缺失基因预测

下载PDF 职称材料

警惕美国固化人工智能先发优势,中国需抢抓窗口期

13

作者 苏中 芦垚 宋逸群 《科技智囊》 2023年第6期13-18,共6页

近期,美国OpenAI公司发布了全面提升能力的大模型GPT-4,基于预训练大模型的生成式人工智能技术成为推动经济社会发展和国际竞争的前沿领域备受关注。为进一步缩小与美国的发展差距,使新技术服务我国的高质量发展目标,并应对其可能产生... 近期,美国OpenAI公司发布了全面提升能力的大模型GPT-4,基于预训练大模型的生成式人工智能技术成为推动经济社会发展和国际竞争的前沿领域备受关注。为进一步缩小与美国的发展差距,使新技术服务我国的高质量发展目标,并应对其可能产生的风险,我国应通过包容审慎的监管机制和统一算力体系,支持国内企业加速布局新技术领域,发展产业应用。 展开更多

关键词 人工智能 预训练大模型 生成式人工智能技术 中美竞争 云计算

下载PDF 职称材料

训推一体平台架构设计与关键技术研究

14

作者 梁秉豪 张传刚 《计算机科学与应用》 2023年第9期1748-1755,共8页

近年来,以ChatGPT为代表的大规模预训练模型不断突破AI技术瓶颈,AI应用场景碎片化问题有望在短期内从根本上得到解决。未来,集中式AI应用研发将会取代传统的小作坊式生产,这一趋势对支撑AI模型训练、微调和部署等环节的人工智能平台提... 近年来,以ChatGPT为代表的大规模预训练模型不断突破AI技术瓶颈,AI应用场景碎片化问题有望在短期内从根本上得到解决。未来,集中式AI应用研发将会取代传统的小作坊式生产,这一趋势对支撑AI模型训练、微调和部署等环节的人工智能平台提出了更高的要求。本文针对主流人工智能平台存在部分问题,设计了一套训练、推理一体化平台。该平台通过工作流引擎实现了机器学习流水线的高效调度,利用虚拟化和容器化技术解决了硬件资源分配和调度问题,此外基于自动化表单工具实现了算子的组件化和插件化管理。本文所设计的训推一体平台将有效降低AI应用的开发门槛,促进AI应用集中式和规模化生产,推动大规模预训练模型快速渗透到各个垂直行业应用场景。 展开更多

关键词 预训练大模型 训推一体 任务调度 算力调度 自动表单

下载PDF 职称材料

传统与大模型并举:中文文本分类技术对比研究

15

作者 文飞 《智能计算机与应用》 2024年第6期88-94,共7页

本文专注于探索与实践中文文本分类技术的演进,通过严谨的实证对比研究,检验了传统技术方法与基于大模型的先进算法在各类文本分类任务中的表现差异。研究在涵盖情感分析的基础数据集和富含复杂专业信息的多类别文本数据集上展开了深入... 本文专注于探索与实践中文文本分类技术的演进,通过严谨的实证对比研究,检验了传统技术方法与基于大模型的先进算法在各类文本分类任务中的表现差异。研究在涵盖情感分析的基础数据集和富含复杂专业信息的多类别文本数据集上展开了深入探索,系统性地对比了传统统计学习方法、经典深度学习算法与当前极具影响力的预训练大模型(如BERT、LLM等)。研究核心围绕提升分类准确性这一关键目标,同时审视各模型在资源效率及训练时效性方面的能力。针对预训练大模型,利用了提示工程技术和模型微调手段,以期优化其性能表现。实验结果揭示了大模型在理解和利用语言上下文、提高泛化性能方面的显著优势,在不同数据集、验证集上普遍能降低10%以上的错误率,同时证实了在特定情境下传统技术依然具备独特且有效的应用价值。通过系统化的对比分析,本文旨在为中文文本分类技术的科学选型及未来发展方向提供有力依据与导向。 展开更多

关键词 文本分类 BERT 预训练大语言模型 提示工程 微调 小样本学习

下载PDF 职称材料