探索简单的孪生网络表示学习
计算机视觉与模式识别
2020-11-23 v1 机器学习
摘要
孪生网络已成为近期各种无监督视觉表示学习模型中的常见结构。这些模型在避免坍缩解的特定条件约束下，最大化同一图像两次增广之间的相似性。在本文中，我们报告了令人惊讶的经验结果：即便不使用以下任何一项，简单的孪生网络也能学习到有意义的表示：(i) 负样本对，(ii) 大批量，(iii) 动量编码器。我们的实验表明，对于该损失与结构确实存在坍缩解，但停止梯度（stop-gradient）操作在防止坍缩中起着至关重要的作用。我们提出了关于停止梯度含义的假设，并进一步展示了验证该假设的概念验证实验。我们的“SimSiam”方法在 ImageNet 和下游任务上取得了具有竞争力的结果。我们希望这个简单的基线能促使人们重新思考孪生架构在无监督表示学习中的作用。代码将会公开。
引用
@article{arxiv.2011.10566,
title = {Exploring Simple Siamese Representation Learning},
author = {Xinlei Chen and Kaiming He},
journal= {arXiv preprint arXiv:2011.10566},
year = {2020}
}
备注
Technical report, 10 pages