保守型与激进型 NaN 加速神经影像中的 U-Net
机器学习
2026-01-27 v1 人工智能
摘要
神经影像深度学习模型日益依赖大型架构，尽管硬件取得了进步，效率问题仍然存在。本文通过对卷积神经网络 (CNN) 数值不确定性的分析，观察到许多操作被数值噪声主导且对模型输出影响可忽略。在某些模型中，最高可达三二分之二的卷积操作显得冗余。我们引入保守型与激进型 NaN 两种新型的最大池化和反池化变体，通过识别数值不稳定的体素并将其替换为 NaN，使后续层能够跳过对无关数据的计算。这两种方法在 PyTorch 中实现，无需任何架构修改。我们在四个覆盖神经影像和图像分类任务的 CNN 模型上进行评估。对于包含至少 50% NaN 的输入，我们观察到持续的运行时改进；对于超过三二分之二的 NaN 数据（在几种神经影像场景中常见），我们实现了平均 1.67 倍的推理加速。保守型 NaN 在所有模型和数据集上平均减少 30% 的卷积运算，且未引起可测量的性能下降，可在特定层跳过最高 64.64% 的卷积。激进型 NaN 可跳过最高 69.30% 的卷积，但偶尔可能影响性能。总体而言，这些方法表明数值不确定性可被利用以减少冗余计算并提高 CNN 的推理效率。
引用
@article{arxiv.2601.17180,
title = {Conservative & Aggressive NaNs Accelerate U-Nets for Neuroimaging},
author = {Inés Gonzalez-Pepe and Vinuyan Sivakolunthu and Jacob Fortin and Yohan Chatelain and Tristan Glatard},
journal= {arXiv preprint arXiv:2601.17180},
year = {2026}
}