MGiaD：全维度多重网格。通过在分辨率与通道维度进行粗化实现高效性与鲁棒性
计算机视觉与模式识别
2022-11-11 v1 人工智能
机器学习
摘要
当前用于图像分类的最先进深度神经网络由1000万至1亿个可学习权重组成，因此本质上容易发生过拟合。权重数量的复杂性可以看作是通道数、输入的空间范围以及网络层数的函数。由于卷积层的使用，权重复杂度的缩放通常与分辨率维度呈线性关系，但与通道数仍呈二次关系。近年来在深度神经网络中使用多重网格启发思想的相关活跃研究表明，一方面通过适当的权重共享可以节省大量权重，另一方面通道维度中的分层结构可以将权重复杂度改善为线性。在这项工作中，我们结合这些多重网格思想，引入了一个多重网格启发的联合架构框架，该框架在所有相关维度上利用多重网格结构，以实现线性权重复杂度缩放并大幅减少权重数量。我们的实验表明，这种结构化的权重数量减少能够降低过拟合，因此在典型的图像分类基准上，以更低的网络复杂度表现出优于最先进ResNet架构的性能。
引用
@article{arxiv.2211.05525,
title = {MGiaD: Multigrid in all dimensions. Efficiency and robustness by coarsening in resolution and channel dimensions},
author = {Antonia van Betteray and Matthias Rottmann and Karsten Kahl},
journal= {arXiv preprint arXiv:2211.05525},
year = {2022}
}