揭示视觉表征学习中 Backbone-Optimizer 耦合偏置

Siyuan Li; Juanxi Tian; Zedong Wang; Luyuan Zhang; Zicheng Liu; Weiyang Jin; Yang Liu; Baigui Sun; Stan Z. Li

揭示视觉表征学习中 Backbone-Optimizer 耦合偏置

计算机视觉与模式识别 2024-10-10 v1 机器学习

作者: Siyuan Li , Juanxi Tian , Zedong Wang , Luyuan Zhang , Zicheng Liu , Weiyang Jin , Yang Liu , Baigui Sun , Stan Z. Li

在 arXiv 上查看 ↗ PDF ↗

摘要

本文深入探讨视觉背部与优化器之间的相互作用，揭示了一种称为 \textit{背bone-优化器耦合偏置} (BOCB) 的相互依赖现象。我们观察到，标准CNN（如VGG和ResNet）与SGD家族表现出明显的协关联性，而近期架构如ViT和ConvNeXt则与自适应学习率方法紧密耦合。我们进一步表明，BOCB可由优化器和特定背bone设计引入，并可能显著影响视觉模型的预训练和下游微调。通过深入的经验分析，我们总结了关于推荐优化器和稳健视觉背bone架构的要旨。我们希望本工作能激励社区质疑关于背bone和优化器的长期假设，进一步探索，从而促进更稳健的视觉系统。源代码和模型已公开发布于 https://bocb-ai.github.io/。

关键词

背bone-优化器耦合偏置视觉模型预训练微调深度学习

引用

@article{arxiv.2410.06373,
  title  = {Unveiling the Backbone-Optimizer Coupling Bias in Visual Representation Learning},
  author = {Siyuan Li and Juanxi Tian and Zedong Wang and Luyuan Zhang and Zicheng Liu and Weiyang Jin and Yang Liu and Baigui Sun and Stan Z. Li},
  journal= {arXiv preprint arXiv:2410.06373},
  year   = {2024}
}

备注

Preprint V1. Online project at https://bocb-ai.github.io/

揭示视觉表征学习中 Backbone-Optimizer 耦合偏置

摘要

关键词

引用

备注

相关论文