可拼接神经网络
机器学习
2023-03-29 v3 人工智能
计算机视觉与模式识别
摘要
包含海量强大预训练模型族（如 ResNet/DeiT）的公开模型库已达到前所未有的规模，极大推动了深度学习的成功。由于每个模型族都由不同规模的预训练模型组成（如 DeiT-Ti/S/B），一个根本性问题自然产生：如何在运行时高效地组装一个族中现成的模型以实现动态的精度-效率权衡。为此，我们提出可拼接神经网络（SN-Net），一种新颖的可扩展且高效的模型部署框架。给定一族预训练神经网络（我们称之为锚点），它能以很低代价生成大量具有不同复杂度和性能权衡的网络。具体而言，SN-Net 跨块/层切分锚点，然后用简单的拼接层将它们缝合，以将一个锚点的激活映射到另一个锚点。仅需少量轮次训练，SN-Net 就能有效插值于不同规模锚点的性能之间。在运行时，SN-Net 可通过切换拼接位置即时适应动态资源约束。在 ImageNet 分类上的大量实验表明，SN-Net 能获得与许多单独训练网络相当甚至更优的性能，同时支持多样化部署场景。例如，通过拼接 Swin Transformer，我们以单一网络挑战 Timm 模型库中的数百个模型。我们相信这一新型弹性模型框架可作为更广泛社区进一步研究的强基线。
引用
@article{arxiv.2302.06586,
title = {Stitchable Neural Networks},
author = {Zizheng Pan and Jianfei Cai and Bohan Zhuang},
journal= {arXiv preprint arXiv:2302.06586},
year = {2023}
}
备注
CVPR 2023 Highlight; Project is available at https://snnet.github.io/