-
题名一种Yarn框架下的异步双随机梯度下降算法
被引量：2
- 1
-
-
作者
杨双涛
马志强
窦保媛
张力
-
机构
内蒙古工业大学信息工程学院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2017年第5期1070-1075,共6页
-
基金
国家自然科学基金项目(61363052
61540004
+1 种基金
61650205)资助
内蒙古自治区自然科学基金项目(2014MS0608)资助
-
文摘
针对异步随机梯度下降算法在多核系统和主/从集群环境中的通信冲突问题,提出了异步双随机梯度下降算法.该算法主要通过离散各从节点在梯度求解时的计算量,分散各从节点对主节点的通信请求,有效减少模型训练过程中通信冲突次数,从而加快模型的训练速度;在Hadoop Yarn基础上提出了异步并行计算框架,进行了异步随机梯度下降算法以及异步双随机梯度下降算法的快速求解;在多核系统和Hadoop环境下,基于HIGGS数据集进行了异步随机梯度下降算法和异步双随机梯度下降算法的对比实验,结果表明,在保证模型准确率的前提下,异步双随机梯度下降算法比异步随机梯度下降算法具备更快的训练速度.
-
关键词
异步随机梯度下降
数据并行
多核系统
主从架构
YARN
-
Keywords
asynchronous stochastic gradient descent
data parallel
multi core system
master/slave architecture
Yarn
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
