卷积神经网络中的别名问题：一种帧论视角
机器学习
2025-07-09 v1 数值分析
数值分析
摘要
在卷积层中使用步幅本质上会引入别名效应，这对数值稳定性和统计泛化具有影响。虽然参数化为 paraunitary 系统的技术已用于促进正交卷积以确保 Parseval 稳定性，但尚未对别名及其对稳定性的影响进行一般性分析。在本文中，我们采用帧论方法描述具有 1D 核的卷积层中的别名，leading to practical estimates for stability bounds and characterizations of Parseval stability, that are tailored to take short kernel sizes into account. 从而推导出两种计算极其高效的优化目标，通过系统性抑制别名来促进 Parseval 稳定性。最后，对于具有随机核的层，我们推导了描述别名效应的术语的期望值和方差的闭式表达式，揭示了在初始化时别名行为的基本洞察。
关键词
引用
@article{arxiv.2507.06152,
title = {Aliasing in Convnets: A Frame-Theoretic Perspective},
author = {Daniel Haider and Vincent Lostanlen and Martin Ehler and Nicki Holighaus and Peter Balazs},
journal= {arXiv preprint arXiv:2507.06152},
year = {2025}
}