阶梯孪生网络：一种多层级自监督学习的方法与洞见
计算机视觉与模式识别
2022-11-28 v1 机器学习
摘要
基于孪生网络的自监督学习（SSL）存在训练收敛慢与不稳定的问题。为缓解此问题，我们提出了一种利用深度网络各阶段中间自监督的框架，称为阶梯孪生网络（Ladder Siamese Network）。我们的自监督损失鼓励中间层对单样本的不同数据增强保持一致，从而促进训练进程并增强中间层自身的判别能力。尽管一些已有工作已在 SSL 中利用多层级自监督，我们的不同之处在于：1）我们从理论和经验角度揭示了其在非对比孪生框架中的有效性；2）我们的方法同时改进图像级分类、实例级检测与像素级分割。实验表明，所提框架在 ImageNet 线性分类上提升 BYOL 基线 1.0% 个百分点，在 COCO 检测上提升 1.2% 个百分点，在 PASCAL VOC 分割上提升 3.1% 个百分点。与最先进（SOTA）方法相比，我们的基于阶梯的模型在所有测试基准上取得了有竞争力且均衡的性能，而未导致某一项大幅退化。
引用
@article{arxiv.2211.13844,
title = {Ladder Siamese Network: a Method and Insights for Multi-level Self-Supervised Learning},
author = {Ryota Yoshihashi and Shuhei Nishimura and Dai Yonebayashi and Yuya Otsuka and Tomohiro Tanaka and Takashi Miyazaki},
journal= {arXiv preprint arXiv:2211.13844},
year = {2022}
}