在模块加法任务上训练的循环神经网络中的低秩稀疏傅里叶结构

模块加法任务是观察深度学习中经验现象（包括 \emph{grokking} 现象）的有用基准。先前的研究表明，单层Transformer架构学习傅里叶乘法电路来解决模块加法任务。在本文中，我们表明，针对模块加法任务训练的循环神经网络（RNN）也采用傅里叶乘法策略。我们识别出模型权重中的低秩结构，并将模型组件归因于特定傅里叶频率， resulting in a稀疏的傅里叶空间表示。我们还表明，RNN对去除单个频率具有鲁棒性，但当从模型中消除更多频率时，性能会急剧下降。