小模型是大模型的计算节省型
人工智能
2025-01-14 v4
摘要
本文介绍 TinySaver，这是一种类似 early-exit 的动态模型压缩方法，采用小模型来适应性地替代大模型。与传统压缩技术不同，动态方法如 TinySaver 能够利用难易度差异，使特定输入提前完成其推理过程，从而节省计算资源。大多数现有 early-exit 设计通过在模型主干上附加额外网络分支来实现。我们的研究发现，完全独立的小模型可以以对性能影响微小的前提下替代大模型的大部分工作。将其作为第一个 exit 能够显著提升计算效率。通过为给定大模型搜索并采用最合适的小模型作为计算节省器，所提出的方法构成一种新型且通用的模型压缩方法。这将帮助研究社区探索新的压缩方法，以应对快速演进的 AI 模型所带来的不断增长的计算需求。我们在 ImageNet-1k 分类中评估了该方法，表明其可在各种现代视觉模型中将计算运算次数降低最高可达 90%，仅产生微弱的性能损失。
关键词
引用
@article{arxiv.2403.17726,
title = {Tiny Models are the Computational Saver for Large Models},
author = {Qingyuan Wang and Barry Cardiff and Antoine Frappé and Benoit Larras and Deepu John},
journal= {arXiv preprint arXiv:2403.17726},
year = {2025}
}