更多协同，更少冗余：利用联合互信息用于自监督学习
计算机视觉与模式识别
2023-07-04 v1
摘要
自监督学习 (SSL) 即使不需要数据标注，现在也是监督学习的强劲竞争者。若干基线尝试使 SSL 模型利用数据分布信息，并更少依赖于增强效应。然而，关于最大化或最小化增强视图表示间的互信息在实践中究竟导致 SSL 模型性能提升还是退化，目前尚无明确共识。本文是一项基础性工作，我们探究互信息在 SSL 中的作用，并从互信息新视角重构 SSL 问题。为此，我们将联合互信息从部分信息分解 (PID) 视角出发视为 \textbf{可靠多变量信息度量} 的关键步骤。PID 使我们能将联合互信息分解为三个重要组分，即独有信息、冗余信息和协同信息。我们的框架旨在最小化视图间及目标表示所需的冗余信息，同时最大化协同信息。我们的实验导致对两个冗余减少基线的重新校准，并提出一种新的 SSL 训练协议。在多个数据集和两项下游任务上的广泛实验结果展示了该框架的有效性。
引用
@article{arxiv.2307.00651,
title = {More Synergy, Less Redundancy: Exploiting Joint Mutual Information for Self-Supervised Learning},
author = {Salman Mohamadi and Gianfranco Doretto and Donald A. Adjeroh},
journal= {arXiv preprint arXiv:2307.00651},
year = {2023}
}