现成卷积神经网络的未开发潜力
计算机视觉与模式识别
2021-03-19 v1 人工智能
摘要
近年来，大量新颖的卷积网络架构被开发出来，以在推进具有挑战性的识别任务上达到最先进性能。随着计算资源的改善，人们在高效扩展现有设计以及利用神经架构搜索（NAS）算法生成新架构方面投入了大量精力。尽管网络拓扑已被证明是模型性能的关键因素，我们表明，通过在推理时保持拓扑静态，显著的增益正被搁置一旁。由于尺度变化等挑战，我们不应期望配置为在训练数据集上表现良好的静态模型被最优地配置以处理所有测试数据。在这项工作中，我们旨在揭示推理时动态模型的令人兴奋的潜力。通过仅允许四个层在推理时动态改变配置，我们展示了现有的现成模型如 ResNet-50 能够在 ImageNet 上达到超过 95% 的准确率。这一性能水平目前超过了参数多 20 倍以上且训练过程显著更复杂的模型。
引用
@article{arxiv.2103.09891,
title = {The Untapped Potential of Off-the-Shelf Convolutional Neural Networks},
author = {Matthew Inkawhich and Nathan Inkawhich and Eric Davis and Hai Li and Yiran Chen},
journal= {arXiv preprint arXiv:2103.09891},
year = {2021}
}
备注
12 pages, 8 figures