FORLA：基于 Slot Attention 的联邦以对象为中心的表示学习

在异构无标签数据集上学习高效的视觉表示仍然是联邦学习中的一个核心挑战。有效的联邦表示需要能够在客户端之间共同提供信息的特征，同时在无监督状态下解耦特定领域的因素。我们引入了 FORLA，这是一个使用无监督 slot attention 在客户端之间进行联邦以对象为中心的表示学习和特征适应的新框架。我们方法的核心是一个共享特征适配器，在客户端之间协同训练以适应基础模型的特征，以及一个共享 slot attention 模块，该模块学习重建适配后的特征。为了优化这个适配器，我们设计了一个双分支师生架构。在每个客户端中，学生解码器学习从基础模型重建完整特征，而教师解码器重建其适配后的低维对应物。共享 slot attention 模块通过跨客户端对齐对象级表示来桥接跨领域学习。在多个真实世界数据集上的实验表明，我们的框架不仅在对象发现上优于集中式基线，而且学习到了一种紧凑、通用的表示，在跨领域具有良好的泛化能力。这项工作突出了联邦 slot attention 作为一种有效工具，可用于从具有分布式概念的跨领域数据中进行可扩展、无监督的视觉表示学习。