重新审视增广不变表示学习的关键因素
计算机视觉与模式识别
2022-08-02 v1 机器学习
摘要
我们致力于更好地理解增广不变表示学习的关键因素。我们重新审视 MoCo v2 和 BYOL，并尝试证明以下假设的真实性：即使使用相同的 pretext task，不同框架也会产生具有不同特征的表示。我们建立了 MoCo v2 与 BYOL 之间公平比较的首个基准，并观察到：(i) 精细的模型配置能够实现对预训练数据集更好的适应；(ii) 预训练与微调优化策略的不匹配阻碍了模型取得有竞争力的迁移性能。基于该公平基准，我们进一步研究发现网络结构的不对称性使对比框架在线性评估协议下表现良好，但可能损害在长尾分类任务上的迁移性能。此外，负样本并不会使模型对数据增广的选择更加敏感，非对称网络结构也不会。我们相信我们的发现为未来工作提供了有用信息。
引用
@article{arxiv.2208.00275,
title = {Revisiting the Critical Factors of Augmentation-Invariant Representation Learning},
author = {Junqiang Huang and Xiangwen Kong and Xiangyu Zhang},
journal= {arXiv preprint arXiv:2208.00275},
year = {2022}
}
备注
Accepted by ECCV 2022