对比学习学习动力学的消息传递视角
机器学习
2023-03-09 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
近年来，对比学习在自监督视觉表示学习上取得了令人瞩目的成果，但对其学习动力学仍缺乏严格的理解。在本文中，我们表明，如果将对比目标等价地投射到特征空间中，则其学习动力学呈现出一种可解释的形式。具体而言，我们表明其梯度下降对应于相应增广图上的一种特定消息传递机制。基于这一视角，我们从理论上刻画了对比学习如何通过对齐更新与一致性更新逐步学习判别性特征。同时，该视角还建立了对比学习与消息传递图神经网络（MP-GNNs）之间引人入胜的联系。这一联系不仅为各自领域中独立发展的许多技术提供了统一理解，还使我们能够借鉴MP-GNNs中的技术来设计新的对比学习变体，例如图注意力、图重连、跳跃知识技术等。我们相信，我们的消息传递视角不仅为对比学习动力学提供了新的理论理解，还将两个看似独立的领域联系起来，或可启发更多相互交织的研究以彼此受益。代码见 https://github.com/PKU-ML/Message-Passing-Contrastive-Learning。
引用
@article{arxiv.2303.04435,
title = {A Message Passing Perspective on Learning Dynamics of Contrastive Learning},
author = {Yifei Wang and Qi Zhang and Tianqi Du and Jiansheng Yang and Zhouchen Lin and Yisen Wang},
journal= {arXiv preprint arXiv:2303.04435},
year = {2023}
}
备注
ICLR 2023