学习组合 SuperWeights 以进行神经参数分配搜索
计算机视觉与模式识别
2023-12-05 v1
摘要
神经参数分配搜索（NPAS）通过在任意固定参数预算下获取网络权重来实现参数共享的自动化。先前的工作存在两个主要缺陷，我们旨在解决它们。首先，搜索和训练步骤之间的共享模式存在脱节：在搜索期间，权重会被变形以适应不同大小的层来度量相似性，但在训练期间却并非如此，从而导致性能下降。为了解决这个问题，我们通过学习组合 SuperWeights 集合来生成层权重，SuperWeights 代表一组可训练参数。这些 SuperWeights 被创建得足够大以便能用于表示网络中的任何层，同时又足够小以保证计算效率。我们要解决的第二个缺陷是度量共享参数之间相似性的方法。先前的工作直接比较权重本身，我们认为这没有考虑共享权重之间的冲突程度。相反，我们使用梯度信息来识别具有共享权重且希望彼此分化的层。我们证明，在 NPAS 设置下，我们的 SuperWeight 网络在 ImageNet 和 CIFAR 数据集上的性能持续超越现有技术。我们进一步表明，我们的方法可以使用同一组权重为多种网络架构生成参数。这使我们能够支持高效集成和即时预测等任务，在参数量减少 17% 的情况下优于全参数化集成。
引用
@article{arxiv.2312.01274,
title = {Learning to Compose SuperWeights for Neural Parameter Allocation Search},
author = {Piotr Teterwak and Soren Nelson and Nikoli Dryden and Dina Bashkirova and Kate Saenko and Bryan A. Plummer},
journal= {arXiv preprint arXiv:2312.01274},
year = {2023}
}
备注
Accepted at IEEE Winter Conference on Applications of Computer Vision (WACV) 2024