掩码自编码器是高效的持续联邦学习器

机器学习通常从独立同分布且更为孤立的数据视角出发。联邦学习在一定程度上打破了这一假设，其旨在解决现实世界中从分布于各客户端的数据协同学习共享模型的挑战。然而，受隐私与计算约束的主要驱动，数据可能变化、分布漂移甚至各客户端任务独立演进的事实很少被纳入考量。持续学习领域应对这一独立挑战，且近期已迈出第一步以在分布式监督设定中利用协同效应，其中若干客户端随时间学习解决不断变化的分类任务而不遗忘先前所见任务。受这些先前工作启发，我们主张此类联邦持续学习应立足于跨客户端共享表征的无监督学习；这 loosely 契合人类如何在不接触特定任务的情况下间接借助他人经验。为此，我们证明用于分布估计的掩码自编码器尤其适用于该设定。具体而言，其掩码策略可与任务注意力机制无缝集成，以实现客户端间的选择性知识迁移。我们通过在图像与二值数据集上的若干持续联邦场景，从经验上证实了后一论断。