自监督学习中的信息流
计算机视觉与模式识别
2024-05-30 v3
摘要
本文中，我们通过矩阵互信息的视角对两种双分支（孪生架构）自监督学习方法，即 Barlow Twins 与谱对比学习，进行了全面分析。我们证明这些方法的损失函数隐式地优化了矩阵互信息与矩阵联合熵。这一见解促使我们进一步探索单分支算法类别，具体而言是 MAE 与 U-MAE，对其而言互信息与联合熵退化为熵。基于这一直觉，我们引入了矩阵变分掩码自编码器（M-MAE），一种利用基于矩阵的熵估计作为正则化项并将 U-MAE 作为特例包含在内的新方法。实证评估凸显了 M-MAE 相较于 SOTA 方法的有效性，包括在 ImageNet 上线性探测 ViT-Base 提升 3.9%，以及微调 ViT-Large 提升 1%。
引用
@article{arxiv.2309.17281,
title = {Information Flow in Self-Supervised Learning},
author = {Zhiquan Tan and Jingqin Yang and Weiran Huang and Yang Yuan and Yifan Zhang},
journal= {arXiv preprint arXiv:2309.17281},
year = {2024}
}
备注
Published at ICML 2024