联邦对比学习的相互信息视角
机器学习
2024-05-06 v1
摘要
我们通过SimCLR和多视图相互信息最大化的视角，探讨联邦环境下的对比学习。在此过程中，我们发现了对比表征学习与用户验证之间的联系；通过在每个客户端的本地SimCLR损失中添加用户验证损失，我们恢复了全局多视图相互信息的下界。为容纳某些标签数据可在客户端处于可用状态的情况，我们将我们的SimCLR变体扩展到联邦半监督设置。我们看到，一种监督SimCLR目标可以通过两种方式获得：a)在共享相同标签的数据点之间计算对比损失；b)需要一个额外的辅助头，从两个视图中预测正确标签。除了提出的SimCLR扩展之外，我们还研究了不同来源的非独立同分布性如何影响联邦无监督学习的性能，通过全局相互信息最大化；我们发现，对于某些非独立同分布性来源，全局目标是有益的，但对于其他来源则可能适得其反。我们在各种任务中对所提出的扩展进行了经验评估，以验证我们的主张，并且进一步表明我们的提出修改通用于其他预训练方法。
引用
@article{arxiv.2405.02081,
title = {A Mutual Information Perspective on Federated Contrastive Learning},
author = {Christos Louizos and Matthias Reisser and Denis Korzhenkov},
journal= {arXiv preprint arXiv:2405.02081},
year = {2024}
}
备注
Published as a conference paper at ICLR 2024