DC 就是所需：从信号处理视角描述 ReLU
机器学习
2025-05-13 v2 信号处理
摘要
非线性激活函数是卷积神经网络中的关键因素。然而，迄今为止，它们在频域中并未得到良好描述。本文研究了 ReLU——一种流行的激活函数的谱行为。我们使用 ReLU 的泰勒展开推导其在频域的行为。我们展示，ReLU 在信号中引入更高频率的振荡，并产生一个恒定的 DC 分量。此外，我们探讨了该 DC 分量的重要性，表明它有助于模型提取与输入频率内容相关的有意义特征。我们伴随理论推导提供实验和真实世界的例子。首先，我们数值验证了频率响应模型。随后我们观察 ReLU 在两个示例模型和一个真实模型中的谱行为。最后，我们实验性地探讨了 DC 分量在 CNN 表征中的作用。我们的结果表明，DC 有助于模型收敛到接近初始随机权重的权重配置。
引用
@article{arxiv.2407.16556,
title = {DC is all you need: describing ReLU from a signal processing standpoint},
author = {Christodoulos Kechris and Jonathan Dan and Jose Miranda and David Atienza},
journal= {arXiv preprint arXiv:2407.16556},
year = {2025}
}