用于资源自适应超网训练的优先子网络采样
计算机视觉与模式识别
2023-02-14 v2
摘要
资源自适应超网调整其用于推理的子网络以适配动态可用资源。本文中，我们提出优先子网络采样来训练资源自适应超网，称为 PSS-Net。我们维护多个子网络池，每个池存储具有相似资源消耗的大量子网络信息。考虑资源约束时，基于该资源约束的子网络从预定义子网络结构空间中采样，高质量的将被插入相应子网络池。随后，采样将逐渐倾向于从子网络池中采样子网络。此外，若从子网络池采样，具有更优性能度量的子网络被赋予更高优先级来训练我们的 PSS-Net。训练结束时，我们的 PSS-Net 保留每个池中的最佳子网络，以在可用资源变化时实现高质量子网络的快速切换用于推理。在 ImageNet 上使用 MobileNet-V1/V2 与 ResNet-50 的实验表明，我们的 PSS-Net 能很好地优于最先进的资源自适应超网。我们的项目公开于 https://github.com/chenbong/PSS-Net。
引用
@article{arxiv.2109.05432,
title = {Prioritized Subnet Sampling for Resource-Adaptive Supernet Training},
author = {Bohong Chen and Mingbao Lin and Rongrong Ji and Liujuan Cao},
journal= {arXiv preprint arXiv:2109.05432},
year = {2023}
}