-
题名演化多任务优化研究综述
被引量：5
- 1
-
-
作者
李豪
汪磊
张元侨
武越
公茂果
-
机构
西安电子科技大学电子工程学院
西安电子科技大学计算机科学与技术学院
-
出处
《软件学报》
EI
CSCD
北大核心
2023年第2期509-538,共30页
-
基金
国家自然科学基金(61906146,62036006)
陕西省高校科协青年人才托举计划(20210103)
中央高校基本科研业务费专项资金(JB210210)。
-
文摘
演化多任务优化研究利用种群进行优化搜索、借助任务间遗传信息的迁移达到多任务同时处理的目的.演化多任务优化被认为是继单目标优化、多目标优化后的第三种问题优化研究范例,是近年来计算智能领域兴起的一大研究热点.演化多任务优化算法模拟自然界选型交配和垂直文化传播的生物文化现象,通过任务间和任务内的知识迁移来促进多个优化任务各自的收敛.对近年来演化多任务优化领域的研究进展做出了系统总结:首先,引入了演化多任务优化问题的概念,给出了其相关的5个定义,并从知识迁移优化的角度对这一问题做出阐述;然后,详细介绍了演化多任务优化算法的基本框架,总结了这一算法近年来的改进情况和基于这一算法框架下其他经典算法的实现情况;之后,对演化多任务优化算法的学术、工程应用情况做出了较为完整的归纳介绍;最后,指出了演化多任务优化领域目前存在的主要问题和挑战,并对这一方向的进一步发展做出了展望.
-
关键词
演化多任务
知识迁移
文化基因计算
-
Keywords
evolutionary multitasking
knowledge transfer
memetic computation
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
-
题名基于进化策略的自适应联邦学习算法
被引量：4
- 2
-
-
作者
公茂果
高原
王炯乾
张元侨
王善峰
谢飞
-
机构
西安电子科技大学智能感知与图像理解教育部重点实验室
西安电子科技大学网络与信息安全学院
西安电子科技大学前沿交叉研究院
-
出处
《中国科学：信息科学》
CSCD
北大核心
2023年第3期437-453,共17页
-
基金
国家自然科学基金(批准号:62036006,61973249)
陕西省重点研发计划(批准号:2021ZDLGY02-06)资助项目。
-
文摘
联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.
-
关键词
联邦学习
进化策略
模型编码
网络剪枝
本地个性化
-
Keywords
federated learning
evolution strategy
model encoding
network pruning
local customization
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
