面向分割的视觉语言正则化联邦学习：FRIEREN

联邦学习（Federated Learning，FL）为语义分割（Semantic Segmentation，SS）任务提供了隐私保护解决方案，可适应新领域，但面临这些领域迁移带来的挑战，尤其当客户端数据无标签时。然而，大多数现有 FL 方法不切实际地假设在远程客户端获取标签数据，或未能利用现代视觉基础模型（Vision Foundation Models，VFMs）的潜力。我们提出新颖且具挑战性的任务 FFREEDG，即模型在服务器的带标签源数据集上进行预训练，然后仅使用客户端无标签数据进行训练，且永不重新访问源数据。为解决 FFREEDG，我们提出 FRIEREN，一种利用 VFM 知识、集成视觉和语言模式的框架。我们的方法采用由 CLIP 文本嵌入引导的视觉语言解码器，以改进语义消歧，并使用弱到强一致性学习策略对伪标签进行稳健的本地训练。我们的实验在合成到真实以及清晰到恶劣天气基准上表明，该框架有效解决了该新任务，达到了对 established domain generalization 和 adaptation 方法的竞争性能，并为未来研究设定了强基准。