自监督跨筒仓联邦神经架构搜索
机器学习
2024-10-28 v2 计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习（FL）为样本或特征分布于不同方之间的机器学习任务提供了模型性能与数据隐私保障。在 FL 的训练过程中，任何一方都无法全局查看其他方的数据分布或模型架构，因此人工设计的架构可能并非最优。过去，神经架构搜索（NAS）已被应用于 FL 以解决这一关键问题。然而，现有的联邦 NAS 方法需要高昂的通信与计算代价，且依赖高质量标签的可用性。本文提出自监督纵向联邦神经架构搜索（SS-VFNAS），用于自动化特征分区数据的 FL（一种称为纵向联邦学习（VFL）的常见跨筒仓场景）。在所提框架中，各方首先使用自监督方法进行 NAS，以自身数据找到局部最优架构；随后各方在 VFL 框架中通过监督协作改进局部最优架构。实验表明，与联邦 NAS 相比，我们的方法具有更优的性能、通信效率和隐私性，并且即使重叠样本不足，也能生成高性能且高可迁移的异构架构，为缺乏深度学习专业知识的各方提供自动化支持。
引用
@article{arxiv.2101.11896,
title = {Self-supervised Cross-silo Federated Neural Architecture Search},
author = {Xinle Liang and Yang Liu and Jiahuan Luo and Yuanqin He and Tianjian Chen and Qiang Yang},
journal= {arXiv preprint arXiv:2101.11896},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication