论非对称性在孪生网络表征学习中的重要性

许多近期用于视觉表征学习的自监督框架基于某些形式的孪生(Siamese)网络。此类网络在概念上具有两个并行编码器的对称性，但在实践中常因设计了大量打破对称性的机制而呈非对称。本工作中，我们通过显式区分网络内的两个编码器——一个产生源编码，另一个产生目标编码——来对非对称性的重要性进行形式化研究。我们的核心见解是，保持目标编码相对于源编码具有较低方差通常有利于学习。这一见解由我们涵盖不同面向方差设计的五项案例研究的结果在经验上得到证实，并与我们对基线方法的初步理论分析相一致。此外，我们发现非对称设计带来的改进能很好地泛化到更长的训练 schedule、多种其他框架以及更新的骨干网络。最后，若干非对称设计的组合效应在ImageNet线性探测上达到了state-of-the-art精度，并在下游迁移上取得有竞争力的结果。我们希望本探索能启发更多利用非对称性进行孪生网络表征学习的研究。