逃离你的教师：通过一种新颖的自监督方法理解 BYOL
机器学习
2020-11-24 v1 计算机视觉与模式识别
摘要
近来，一种新提出的自监督框架 Bootstrap Your Own Latent (BYOL) 严重挑战了对比学习框架中负样本的必要性。尽管 BYOL 完全丢弃了负样本，且其训练目标中没有任何防止坍缩的措施，它却出奇地有效。在本文中，我们建议从我们提出的可解释自监督学习框架 Run Away From your Teacher (RAFT) 的视角来理解 BYOL。RAFT 同时优化两个目标：(i) 将同一数据的两个视图对齐到相似的表示，以及 (ii) 远离模型的 Mean Teacher (MT，历史模型的指数移动平均)，而非像 BYOL 那样靠近它。RAFT 的第二项显式地防止了表示坍缩，从而使 RAFT 在概念上成为更可靠的框架。我们在 CIFAR10 上提供了 RAFT 的基本基准以验证我们方法的有效性。此外，我们证明了在某些条件下 BYOL 等价于 RAFT，为 BYOL 反直觉的成功提供了坚实的推理。
引用
@article{arxiv.2011.10944,
title = {Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach},
author = {Haizhou Shi and Dongliang Luo and Siliang Tang and Jian Wang and Yueting Zhuang},
journal= {arXiv preprint arXiv:2011.10944},
year = {2020}
}