期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
鹏程·盘古:大规模自回归中文预训练语言模型及应用
被引量：
5
1
作者
曾炜
苏腾
+2 位作者
王晖
田永鸿
高文
《中兴通讯技术》
2022年第2期33-43,共11页
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从...
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上。对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。
展开更多
关键词
大规模
预
训练
语言模型
鹏城云脑Ⅱ
大规模
分布式
训练
中文理解与生成
提示微调学习
下载PDF
职称材料
面向深度神经网络大规模分布式数据并行训练的MC^(2)能耗模型
2
作者
魏嘉
张兴军
+2 位作者
王龙翔
赵明强
董小社
《计算机研究与发展》
EI
CSCD
北大核心
2024年第12期2985-3004,共20页
深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性...
深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性能计算平台过量能耗方面起着至关重要的作用.目前,大部分的能耗模型都是从设备的角度出发对单个设备或多个设备构成的集群进行能耗建模,由于缺乏从能耗角度对分布式并行DNN应用进行分解剖析,导致罕有针对分布式DNN应用特征进行建模的能耗模型.针对目前最常用的DNN分布式数据并行训练模式,从DNN模型训练本质特征角度出发,提出了“数据预处理(materials preprocessing)-前向与反向传播(computing)-梯度同步与更新(communicating)”三阶段MC^(2)能耗模型,并通过在国产E级原型机天河三号上使用最多128个MT节点和32个FT节点训练经典的VGG16和ResNet50网络以及最新的Vision Transformer网络验证了模型的有效性和可靠性.实验结果表明,MC^(2)与真实能耗测量结果相差仅为2.84%,相较4种线性比例能耗模型以及AR,SES,ARIMA时间预测模型准确率分别提升了69.12个百分点,69.50个百分点,34.58个百分点,13.47个百分点,5.23个百分点,22.13个百分点,10.53个百分点.通过使用的模型可以在超算平台得到DNN模型的各阶段能耗和总体能耗结果,为评估基于能耗感知的DNN大规模分布式数据并行训练及推理各阶段任务调度、作业放置、模型分割、模型裁剪等优化策略的效能提供了基础.
展开更多
关键词
深度神经网络
能耗模型
大规模
分布式
训练
数据并行
超级计算机
下载PDF
职称材料
题名
鹏程·盘古:大规模自回归中文预训练语言模型及应用
被引量：
5
1
作者
曾炜
苏腾
王晖
田永鸿
高文
机构
鹏城实验室
北京大学
华为技术有限公司
鹏城实验室网络智能部开源所
鹏城实验室网络智能部
出处
《中兴通讯技术》
2022年第2期33-43,共11页
基金
广东省重点领域研发计划“新一代人工智能”重大专项(2021B0101400002)。
文摘
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上。对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。
关键词
大规模
预
训练
语言模型
鹏城云脑Ⅱ
大规模
分布式
训练
中文理解与生成
提示微调学习
Keywords
large-scale pre-trained language models
Pengcheng cloud brainⅡ
large-scale distributed training
Chinese language under⁃standing and generation
tip fine-tuning learning
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
面向深度神经网络大规模分布式数据并行训练的MC^(2)能耗模型
2
作者
魏嘉
张兴军
王龙翔
赵明强
董小社
机构
西安交通大学计算机科学与技术学院
出处
《计算机研究与发展》
EI
CSCD
北大核心
2024年第12期2985-3004,共20页
基金
国家自然科学基金项目(62172327)。
文摘
深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性能计算平台过量能耗方面起着至关重要的作用.目前,大部分的能耗模型都是从设备的角度出发对单个设备或多个设备构成的集群进行能耗建模,由于缺乏从能耗角度对分布式并行DNN应用进行分解剖析,导致罕有针对分布式DNN应用特征进行建模的能耗模型.针对目前最常用的DNN分布式数据并行训练模式,从DNN模型训练本质特征角度出发,提出了“数据预处理(materials preprocessing)-前向与反向传播(computing)-梯度同步与更新(communicating)”三阶段MC^(2)能耗模型,并通过在国产E级原型机天河三号上使用最多128个MT节点和32个FT节点训练经典的VGG16和ResNet50网络以及最新的Vision Transformer网络验证了模型的有效性和可靠性.实验结果表明,MC^(2)与真实能耗测量结果相差仅为2.84%,相较4种线性比例能耗模型以及AR,SES,ARIMA时间预测模型准确率分别提升了69.12个百分点,69.50个百分点,34.58个百分点,13.47个百分点,5.23个百分点,22.13个百分点,10.53个百分点.通过使用的模型可以在超算平台得到DNN模型的各阶段能耗和总体能耗结果,为评估基于能耗感知的DNN大规模分布式数据并行训练及推理各阶段任务调度、作业放置、模型分割、模型裁剪等优化策略的效能提供了基础.
关键词
深度神经网络
能耗模型
大规模
分布式
训练
数据并行
超级计算机
Keywords
deep neural network(DNN)
energy consumption model
massively distributed training
data parallel
supercomputer
分类号
TP302 [自动化与计算机技术—计算机系统结构]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
鹏程·盘古:大规模自回归中文预训练语言模型及应用
曾炜
苏腾
王晖
田永鸿
高文
《中兴通讯技术》
2022
5
下载PDF
职称材料
2
面向深度神经网络大规模分布式数据并行训练的MC^(2)能耗模型
魏嘉
张兴军
王龙翔
赵明强
董小社
《计算机研究与发展》
EI
CSCD
北大核心
2024
0
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
