-
题名面向机器学习的分布式并行计算关键技术及应用
被引量：9
- 1
-
-
作者
曹嵘晖
唐卓
左知微
张学东
-
机构
湖南大学信息科学与工程学院
国家超级计算长沙中心
-
出处
《智能系统学报》
CSCD
北大核心
2021年第5期918-930,共13页
-
基金
国家重点研发计划项目(2018YFB1701400)
国家自然科学基金项目(92055213,61873090,L1924056,62002114)
+1 种基金
金融及产业数据驱动下的智慧园区云平台研发及产业化项目(XMHT20190205007)
广东省重点领域研发计划项目(XMHT20190205007)深圳市科技计划项目(JSGG20180507183023239).
-
文摘
当前机器学习等算法的计算、迭代过程日趋复杂,充足的算力是保障人工智能应用落地效果的关键。本文首先提出一种适应倾斜数据的分布式异构环境下的任务时空调度算法,有效提升机器学习模型训练等任务的平均效率;其次,提出分布式异构环境下高效的资源管理系统与节能调度算法,实现分布式异构环境下基于动态预测的跨域计算资源迁移及电压/频率的动态调节,节省了系统的整体能耗;然后构建了适应于机器学习/深度学习算法迭代的分布式异构优化环境,提出了面向机器学习/图迭代算法的分布式并行优化基本方法。最后,本文研发了面向领域应用的智能分析系统,并在制造、交通、教育、医疗等领域推广应用,解决了在高效数据采集、存储、清洗、融合与智能分析等过程中普遍存在的性能瓶颈问题。
-
关键词
机器学习
分布式计算
倾斜数据
任务时空调度
资源管理
节能调度
跨域资源迁移
并行优化
图迭代算法
智能分析系统
-
Keywords
machine learning
distributed computing
skew data
task space-time scheduling
resource management
energy-saving scheduling
cross-domain resource migration
parallel optimization
graph iteration algorithm
intelligent analysis system
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
