超越跳跃连接：消除奇异性的池化与反池化设计
计算机视觉与模式识别
2024-12-11 v2
摘要
训练深度卷积神经网络（CNNs）面临独特的挑战，包括普遍存在的消除奇异性问题，即节点的持续失活导致损失景观中出现退化流形。这些奇异性通过破坏特征传播阻碍了高效学习。为缓解此问题，我们引入了 Pool Skip，这是一种架构增强方法，策略性地结合了最大池化、最大反池化、3x3 卷积以及跳跃连接。该配置有助于稳定训练过程并保持跨层的特征完整性。我们还提出了权重惯性假说，为 Pool Skip 的开发提供了理论基础，通过维度和仿射补偿来深入理解如何缓解由消除奇异性引起的退化。我们在多种基准上评估了该方法，重点关注 2D 自然图像和 3D 医学成像应用，包括分类和分割等任务。我们的研究结果突出了 Pool Skip 在促进更鲁棒的 CNN 训练和提升模型性能方面的有效性。
引用
@article{arxiv.2409.13154,
title = {Beyond Skip Connection: Pooling and Unpooling Design for Elimination Singularities},
author = {Chengkun Sun and Jinqian Pan and Zhuoli Jin and Russell Stevens Terry and Jiang Bian and Jie Xu},
journal= {arXiv preprint arXiv:2409.13154},
year = {2024}
}