OVO：基于在线蒸馏的一次性视觉 Transformer 搜索
计算机视觉与模式识别
2023-11-27 v2
摘要
纯 Transformer 近期在视觉任务中展现出巨大潜力。然而，其在小或中等规模数据集上的精度尚不令人满意。尽管一些现有方法引入 CNN 作为教师，通过蒸馏引导训练过程，但教师与学生网络间的差距会导致次优性能。本工作中，我们提出一种新的带在线蒸馏的一次性视觉 Transformer 搜索框架，即 OVO。OVO 为教师与学生网络均采样子网络以获得更好的蒸馏结果。得益于在线蒸馏，超网中数千个子网络均得到充分训练，无需额外微调或重训练。实验中，OVO-Ti 在 ImageNet 上分别达到 73.32% 的 top-1 精度，在 CIFAR-100 上达到 75.2%。
引用
@article{arxiv.2212.13766,
title = {OVO: One-shot Vision Transformer Search with Online distillation},
author = {Zimian Wei and Hengyue Pan and Xin Niu and Dongsheng Li},
journal= {arXiv preprint arXiv:2212.13766},
year = {2023}
}
备注
The work is not implemented