周期激活函数在强化学习中的频率与泛化

周期激活函数，常称为学习型傅里叶特征，已被广泛证明可提高各种深度强化学习算法的样本效率和稳定性。关于这些改进来源的假设存在兼容性争议。一种观点是周期激活学习低频表示，因而避免对引导目标的过拟合。另一种观点是周期激活学习高频表示，这些表示更具表达性，允许网络快速适应复杂的价值函数。我们对这些主张进行经验分析，发现无论其初始化频率如何，周期表示始终会收敛到高频。我们也发现，尽管周期激活函数提高了样本效率，但它们在加入观察噪声的状态上表现出较差的泛化——尤其是与使用 ReLU 激活函数的等效网络进行比较时。最后，我们表明权重衰减正则化能够部分抵消周期激活函数的过拟合，实现快速学习的价值函数同时具有良好的泛化。