通过间隔最大化实现特征涌现：代数任务中的案例研究

理解神经网络学到的内部表示是机器学习科学中的基石性挑战。尽管近期在某些情形下针对神经网络如何实现特定目标函数已取得显著进展，本文探讨一个互补的问题——网络为何采用特定的计算策略？我们的研究聚焦于模加法、稀疏奇偶校验与有限群运算等代数学习任务。我们的主要理论发现解析刻画了风格化神经网络针对这些代数任务所学到的特征。值得注意的是，我们的主要技术展示了仅利用间隔最大化原理即可完全确定网络所学特征。具体而言，我们证明训练后的网络利用傅里叶特征执行模加法，并采用对应于不可约群表示的特征在一般群中执行复合运算，这与Nanda等人及Chughtai等人的实证观察高度吻合。更一般地，我们希望我们的技术有助于深化对神经网络为何采用特定计算策略的理解。