用于学习 CNN 池化架构的 SuperNet 均衡混合
计算机视觉与模式识别
2023-06-22 v1 机器学习
摘要
下采样层（包括池化与步幅卷积）是卷积神经网络架构的关键组件，决定了图像特征分析的粒度/尺度以及给定层的感受野大小。为充分理解该问题，我们使用 ResNet20 网络在 CIFAR10 上分析独立以各池化配置训练的模型性能，表明下采样层的位置会高度影响网络性能，且预定义的池化配置并非最优。网络架构搜索（NAS）可作为超参数用于优化池化配置。然而，我们发现基于单一 SuperNet 的常用一次性 NAS 对此问题无效。我们认为这是因为用于寻找最优池化配置的 SuperNet 在所有池化配置间完全共享参数，这使得其训练困难，因为学习某些配置会损害其他配置的性能。因此，我们提出一种 SuperNet 的均衡混合，自动将池化配置关联到不同权重模型，并有助于减少权重共享及池化配置对 SuperNet 参数的相互影响。我们在 CIFAR10、CIFAR100 以及 Food101 上评估所提方法，表明在所有情况下，我们的模型均优于其他方法并超越默认池化配置。
引用
@article{arxiv.2306.11982,
title = {Balanced Mixture of SuperNets for Learning the CNN Pooling Architecture},
author = {Mehraveh Javan and Matthew Toews and Marco Pedersoli},
journal= {arXiv preprint arXiv:2306.11982},
year = {2023}
}