自适应分辨率残差网络——轻松高效地跨分辨率泛化
机器学习
2024-12-10 v1 计算机视觉与模式识别
摘要
实际信号数据常由多种分辨率的传感器构成。然而，大多数深度学习架构固定分辨率，仅在训练和推理时考虑单一分辨率。这虽便于实现，但未能充分发挥多样化信号数据的优势。相比之下，自适应分辨率架构允许在训练和推理时直接处理多种分辨率，提升鲁棒性和计算效率，但带来了难以主流化的设计约束。本文通过引入自适应分辨率残差网络（ARRNs），解决了固定分辨率和自适应分辨率方法的短板。ARRNs继承自适应分辨率方法的优势，同时保持固定分辨率方法的易用性。我们基于拉普拉斯残差构建ARRNs，拉普拉斯残差作为通用的自适应分辨率适配器，可用于固定分辨率层；通过简单省略高分辨率拉普拉斯残差，在推理时将高分辨率ARRNs转换为低分辨率ARRNs，从而在不牺牲性能的情况下降低低分辨率信号的计算成本。我们还引入拉普拉斯 dropout，以增强对分辨率分布的鲁棒性，同时正则化拉普拉斯残差中可能引入的近似平滑内核误差。通过基于神经算子的理论分析，我们为ARRNs的有利特性提供了坚实依据；实证结果表明，ARRNs在更大的灵活性、鲁棒性和计算效率方面更能应对多样化分辨率的挑战。
引用
@article{arxiv.2412.06195,
title = {Adaptive Resolution Residual Networks -- Generalizing Across Resolutions Easily and Efficiently},
author = {Léa Demeule and Mahtab Sandhu and Glen Berseth},
journal= {arXiv preprint arXiv:2412.06195},
year = {2024}
}