期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
一种Yarn框架下的异步双随机梯度下降算法
被引量：
2
1
作者
杨双涛
马志强
+1 位作者
窦保媛
张力
《小型微型计算机系统》
CSCD
北大核心
2017年第5期1070-1075,共6页
针对异步随机梯度下降算法在多核系统和主/从集群环境中的通信冲突问题,提出了异步双随机梯度下降算法.该算法主要通过离散各从节点在梯度求解时的计算量,分散各从节点对主节点的通信请求,有效减少模型训练过程中通信冲突次数,从而加快...
针对异步随机梯度下降算法在多核系统和主/从集群环境中的通信冲突问题,提出了异步双随机梯度下降算法.该算法主要通过离散各从节点在梯度求解时的计算量,分散各从节点对主节点的通信请求,有效减少模型训练过程中通信冲突次数,从而加快模型的训练速度;在Hadoop Yarn基础上提出了异步并行计算框架,进行了异步随机梯度下降算法以及异步双随机梯度下降算法的快速求解;在多核系统和Hadoop环境下,基于HIGGS数据集进行了异步随机梯度下降算法和异步双随机梯度下降算法的对比实验,结果表明,在保证模型准确率的前提下,异步双随机梯度下降算法比异步随机梯度下降算法具备更快的训练速度.
展开更多
关键词
异步
随机
梯度
下降
数据并行
多核系统
主从架构
YARN
下载PDF
职称材料
分布式深度学习框架下基于性能感知的DBS-SGD算法
被引量：
11
2
作者
纪泽宇
张兴军
+2 位作者
付哲
高柏松
李靖波
《计算机研究与发展》
EI
CSCD
北大核心
2019年第11期2396-2409,共14页
通过增加模型的深度以及训练数据的样本数量,深度神经网络模型能够在多个机器学习任务中获得更好的性能,然而这些必要的操作会使得深度神经网络模型训练的开销相应增大.因此为了更好地应对大量的训练开销,在分布式计算环境中对深度神经...
通过增加模型的深度以及训练数据的样本数量,深度神经网络模型能够在多个机器学习任务中获得更好的性能,然而这些必要的操作会使得深度神经网络模型训练的开销相应增大.因此为了更好地应对大量的训练开销,在分布式计算环境中对深度神经网络模型的训练过程进行加速成为了研发人员最常用的手段.随机梯度下降(stochastic gradient descent,SGD)算法是当前深度神经网络模型中最常见的训练算法之一,然而SGD在进行并行化的时候容易产生梯度过时问题,从而影响算法的整体收敛性.现有解决方案大部分针对的是各节点性能差别较小的高性能计算(high performance computing,HPC)环境,很少有研究考虑过各节点性能差别较大的集群环境.针对上述问题进行研究并提出了一种基于性能感知技术的动态batch size随机梯度下降算法(dynamic batch size SGD,DBS-SGD).该算法通过分析各节点的计算能力,对各节点的minibatch进行动态分配,从而保证了节点间每次迭代更新的时间基本一致,进而降低了节点的平均梯度过时值.提出的算法能够有效优化异步更新策略中存在的梯度过时问题.选用常用的图像分类基准Mnist和cifar10作为训练数据集,将该算法与异步随机梯度下降(asynchronous SGD,ASGD)算法、n-soft算法进行了对比.实验结果表明:在不损失加速比的情况下,Mnist数据集的loss函数值降低了60%,cifar数据集的准确率提升了约10%,loss函数值降低了10%,其性能高于ASGD算法和n-soft算法,接近同步策略下的收敛曲线.
展开更多
关键词
参数服务器
异步
随机
梯度
下降
算法
梯度
过时
性能感知
数据并行
下载PDF
职称材料
题名
一种Yarn框架下的异步双随机梯度下降算法
被引量：
2
1
作者
杨双涛
马志强
窦保媛
张力
机构
内蒙古工业大学信息工程学院
出处
《小型微型计算机系统》
CSCD
北大核心
2017年第5期1070-1075,共6页
基金
国家自然科学基金项目(61363052
61540004
+1 种基金
61650205)资助
内蒙古自治区自然科学基金项目(2014MS0608)资助
文摘
针对异步随机梯度下降算法在多核系统和主/从集群环境中的通信冲突问题,提出了异步双随机梯度下降算法.该算法主要通过离散各从节点在梯度求解时的计算量,分散各从节点对主节点的通信请求,有效减少模型训练过程中通信冲突次数,从而加快模型的训练速度;在Hadoop Yarn基础上提出了异步并行计算框架,进行了异步随机梯度下降算法以及异步双随机梯度下降算法的快速求解;在多核系统和Hadoop环境下,基于HIGGS数据集进行了异步随机梯度下降算法和异步双随机梯度下降算法的对比实验,结果表明,在保证模型准确率的前提下,异步双随机梯度下降算法比异步随机梯度下降算法具备更快的训练速度.
关键词
异步
随机
梯度
下降
数据并行
多核系统
主从架构
YARN
Keywords
asynchronous stochastic gradient descent
data parallel
multi core system
master/slave architecture
Yarn
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
分布式深度学习框架下基于性能感知的DBS-SGD算法
被引量：
11
2
作者
纪泽宇
张兴军
付哲
高柏松
李靖波
机构
西安交通大学计算机科学与技术学院
出处
《计算机研究与发展》
EI
CSCD
北大核心
2019年第11期2396-2409,共14页
基金
国家重点研发计划项目(2016YFB0200902)~~
文摘
通过增加模型的深度以及训练数据的样本数量,深度神经网络模型能够在多个机器学习任务中获得更好的性能,然而这些必要的操作会使得深度神经网络模型训练的开销相应增大.因此为了更好地应对大量的训练开销,在分布式计算环境中对深度神经网络模型的训练过程进行加速成为了研发人员最常用的手段.随机梯度下降(stochastic gradient descent,SGD)算法是当前深度神经网络模型中最常见的训练算法之一,然而SGD在进行并行化的时候容易产生梯度过时问题,从而影响算法的整体收敛性.现有解决方案大部分针对的是各节点性能差别较小的高性能计算(high performance computing,HPC)环境,很少有研究考虑过各节点性能差别较大的集群环境.针对上述问题进行研究并提出了一种基于性能感知技术的动态batch size随机梯度下降算法(dynamic batch size SGD,DBS-SGD).该算法通过分析各节点的计算能力,对各节点的minibatch进行动态分配,从而保证了节点间每次迭代更新的时间基本一致,进而降低了节点的平均梯度过时值.提出的算法能够有效优化异步更新策略中存在的梯度过时问题.选用常用的图像分类基准Mnist和cifar10作为训练数据集,将该算法与异步随机梯度下降(asynchronous SGD,ASGD)算法、n-soft算法进行了对比.实验结果表明:在不损失加速比的情况下,Mnist数据集的loss函数值降低了60%,cifar数据集的准确率提升了约10%,loss函数值降低了10%,其性能高于ASGD算法和n-soft算法,接近同步策略下的收敛曲线.
关键词
参数服务器
异步
随机
梯度
下降
算法
梯度
过时
性能感知
数据并行
Keywords
parameter server
synchronous stochastic gradient descent(SSGD)
stale gradient
performance awareness
data parallelism
分类号
TP183 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
一种Yarn框架下的异步双随机梯度下降算法
杨双涛
马志强
窦保媛
张力
《小型微型计算机系统》
CSCD
北大核心
2017
2
下载PDF
职称材料
2
分布式深度学习框架下基于性能感知的DBS-SGD算法
纪泽宇
张兴军
付哲
高柏松
李靖波
《计算机研究与发展》
EI
CSCD
北大核心
2019
11
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
