基于模型无关元学习的联邦神经网络架构搜索

联邦学习 (Federated Learning) 常因用户数据在设备间天然分布不均而面临数据异构性挑战。联邦神经网络架构搜索 (Federated NAS) 能够为异构数据定制最优模型架构，实现更高准确率。然而，该过程因搜索空间广泛和需大量重训练而耗时。为克服此问题，我们提出 FedMetaNAS 框架，将元学习与 NAS 集成于联邦学习场景中，通过修剪搜索空间和消除重训练阶段加速架构搜索。我们的 method 首先利用 Gumbel-Softmax 重参数化实现混合操作搜索空间的松化。随后，我们引入模型无关元学习 (Model-Agnostic Meta-Learning)，其中任务特定学习器适应 individual tasks 的权重和 architecture 参数 (alphas)，而 meta 学习器则基于任务学习器的梯度信息调整整体模型权重和 alphas。跟随 meta 更新，我们提出基于相同技巧的软修剪，以逐步稀疏化架构，确保所选架构修剪后性能稳健，无需重训练即可直接使用。实验评估表明，FedMetaNAS 比 FedNAS 快逾 50%，且准确率更高。