探讨在集群环境下，如何设计并行聚类算法。作为一种低成本、通用并行系统，集群系统的通信能力，相对于节点的计算能力，是一个瓶颈。所以在集群环境下，设计并行聚类算法时，应采用数据并行的思想。从理论上，对采用数据并行思想后，...探讨在集群环境下，如何设计并行聚类算法。作为一种低成本、通用并行系统，集群系统的通信能力，相对于节点的计算能力，是一个瓶颈。所以在集群环境下，设计并行聚类算法时，应采用数据并行的思想。从理论上，对采用数据并行思想后，影响聚类算法的加速比和聚类质量的因素进行了分析，然后通过一个验证算法PCIT(Parallel clustering algorithm based on Index Tree)证实了理论分析的正确性。研究结果可以为以后设计更好的数据并行聚类算法提供理论依据。展开更多
针对深度学习图像分类场景中多GPU并行后传输效率低的问题,提出一种低时间复杂度的Ring All Reduce改进算法。通过分节点间隔配对原则优化数据传输流程,缓解传统参数服务器并行结构的带宽损耗。基于数据并行难以支撑大规模网络参数及加...针对深度学习图像分类场景中多GPU并行后传输效率低的问题,提出一种低时间复杂度的Ring All Reduce改进算法。通过分节点间隔配对原则优化数据传输流程,缓解传统参数服务器并行结构的带宽损耗。基于数据并行难以支撑大规模网络参数及加速延缓的问题,根据深度学习主干网络所包含的权重参数低于全连接层权重参数、同步开销小、全连接层权重大与梯度传输开销过高等特点,提出GPU混合并行优化算法,将主干网络进行数据并行,全连接层进行模型并行,并通过改进的Ring All Reduce算法实现各节点之间的并行后数据通信,用于基于深度学习模型的图像分类。在Cifar10和mini ImageNet两个公共数据集上的实验结果表明,该算法在保持分类精度不变的情况下可以获得更好的加速效果,相比数据并行方法,可达到近45%的提升效果。展开更多
文摘探讨在集群环境下，如何设计并行聚类算法。作为一种低成本、通用并行系统，集群系统的通信能力，相对于节点的计算能力，是一个瓶颈。所以在集群环境下，设计并行聚类算法时，应采用数据并行的思想。从理论上，对采用数据并行思想后，影响聚类算法的加速比和聚类质量的因素进行了分析，然后通过一个验证算法PCIT(Parallel clustering algorithm based on Index Tree)证实了理论分析的正确性。研究结果可以为以后设计更好的数据并行聚类算法提供理论依据。
文摘针对深度学习图像分类场景中多GPU并行后传输效率低的问题,提出一种低时间复杂度的Ring All Reduce改进算法。通过分节点间隔配对原则优化数据传输流程,缓解传统参数服务器并行结构的带宽损耗。基于数据并行难以支撑大规模网络参数及加速延缓的问题,根据深度学习主干网络所包含的权重参数低于全连接层权重参数、同步开销小、全连接层权重大与梯度传输开销过高等特点,提出GPU混合并行优化算法,将主干网络进行数据并行,全连接层进行模型并行,并通过改进的Ring All Reduce算法实现各节点之间的并行后数据通信,用于基于深度学习模型的图像分类。在Cifar10和mini ImageNet两个公共数据集上的实验结果表明,该算法在保持分类精度不变的情况下可以获得更好的加速效果,相比数据并行方法,可达到近45%的提升效果。
