ParameterNet:参数即你所需要的一切
计算机视觉与模式识别
2024-01-17 v2
摘要
大规模视觉预训练显著提升了大型视觉模型的性能。然而,我们观察到现有低 FLOPs 模型无法从大规模预训练中获益的“低 FLOPs 陷阱”。本文提出一种称为 ParameterNet 的新颖设计原则,旨在增加大规模视觉预训练模型的参数量,同时将 FLOPs 的增长降至最低。我们利用动态卷积将额外参数引入网络,仅带来 FLOPs 的微小上升。ParameterNet 方法使低 FLOPs 网络能够利用大规模视觉预训练。此外,我们将 ParameterNet 概念扩展至语言领域,在保持推理速度的同时提升推理结果。在大规模 ImageNet-22K 上的实验表明了我们的 ParameterNet 方案的优越性。例如,ParameterNet-600M 在 ImageNet 上可达到比广泛使用的 Swin Transformer 更高的准确率(81.6% 对比 80.9%),且 FLOPs 低得多(0.6G 对比 4.5G)。在语言领域,采用 ParameterNet 增强的 LLaMA-1B 比原始 LLaMA 准确率高出 2%。代码将于 \url{https://parameternet.github.io/} 发布。
引用
@article{arxiv.2306.14525,
title = {ParameterNet: Parameters Are All You Need},
author = {Kai Han and Yunhe Wang and Jianyuan Guo and Enhua Wu},
journal= {arXiv preprint arXiv:2306.14525},
year = {2024}
}
备注
https://parameternet.github.io/