Heterogeneous federated learning with client collaboration graphs

联邦学习是保护数据隐私的分布式机器学习范式. 参与联邦学习的客户端通常拥有不同的硬件资源和训练数据, 但传统的联邦学习方法往往忽视了异构客户端在数据和资源上的多层次协作关系, 从而导致协作不足, 收敛性能受限问题. 针对该问题, 本文提出了一种基于客户协作关系图的异构联邦学习方法(HFLCG), 旨在挖掘异构客户间的多层面协作关系, 实现高效且精细的客户协作. 在HFLCG 方法中, 通过引入客户计算能力的量化指标将客户分为多个集群, 并根据集群间的资源差异构建有向非对称拓扑的资源协作关系图, 使高能力集群加速低能力集群的收敛, 同时低能力集群的数据知识对高能力集群形成补充, 有效缓解了传统联邦学习中低能力客户端收敛缓慢和知识交流不对齐的问题. 此外, 通过在客户集群内构造权重自适应的数据协作关系图, 更好地应对不同级别的数据异构情况. 双层协作图相互联动, 使得客户充分吸收数据知识的同时尽可能受到高资源客户的协助, 以同时解决数据和资源异构问题. 实验表明, 本文提出的方法比基线方法达到同一目标准确率所需时间至少降低了47.34%, 在不同资源和数据异构情况下具有较好的鲁棒性.