轻型伴侣加速图像分类器
计算机视觉与模式识别
2024-06-28 v2
摘要
扩大神经网络规模是大型语言和视觉模型成功的关键配方之一。然而，实际中，规模扩大的模型在计算成本上往往不成比例，仅提供边际的性能提升；例如，EfficientViT-L3-384 在 ImageNet-1K 上准确率仅比 base L1-224 模型提高 <2%，但需要 更多的乘法-累加运算（MACs）。本文我们研究了流行神经网络家族在图像分类中的规模化属性，发现规模化模型主要有助于解决"困难"样本。通过将样本按难度分解，我们发展了一种简单且模型不可知的 two-pass Little-Big 算法，首先使用轻量级"little"模型对所有样本进行预测，然后仅将困难样本传递给"big"模型解决。优秀的 little 伴侣能够为广泛的模型家族和规模实现大幅度的 MACs 减少。在不损失精度或修改现有模型的前提下，我们的 Little-Big 模型在 ImageNet-1K 上实现了 EfficientViT-L3-384 降低 76% 的 MACs、EfficientNet-B7-600 降低 81% 的 MACs、DeiT3-L-384 降低 71% 的 MACs。Little-Big 也通过 62% 的加速实现了 InternImage-G-512 模型，同时达到 90% 的 ImageNet-1K top-1 准确率，既作为强大的基线，也作为一种简单实用的大模型压缩方法。
引用
@article{arxiv.2406.17117,
title = {Speeding Up Image Classifiers with Little Companions},
author = {Yang Liu and Kowshik Thopalli and Jayaraman Thiagarajan},
journal= {arXiv preprint arXiv:2406.17117},
year = {2024}
}