非判别性数据还是弱模型？论数据与模型分辨率的相对重要性
计算机视觉与模式识别
2019-10-21 v2
摘要
我们探讨输入图像的分辨率（“输入分辨率”）与隐藏层的分辨率（“内部分辨率”）相比如何影响神经网络性能的问题。调整这些特性常被用作一种超参数，以在模型性能与精度之间取得权衡。一种直观的解释是，低分辨率输入中减少的信息内容导致精度下降。在本文中，我们表明，在一定程度上，输入分辨率本身对网络性能影响甚微，而内部分辨率才是模型质量的关键驱动因素。我们随后基于这些见解构建了新颖的神经网络架构，称之为“等距神经网络”。这些模型在其整个深度上保持固定的内部分辨率。我们证明，它们能产生具有低激活足迹和参数量的高精度模型。
引用
@article{arxiv.1909.03205,
title = {Non-discriminative data or weak model? On the relative importance of data and model resolution},
author = {Mark Sandler and Jonathan Baccash and Andrey Zhmoginov and Andrew Howard},
journal= {arXiv preprint arXiv:1909.03205},
year = {2019}
}
备注
ICCV 2019 Workshop on Real-World Recognition from Low-Quality Images and Videos