领悟模算术
机器学习
2023-01-10 v1 无序系统与神经网络
摘要
我们提出一个简单的神经网络，能够学习模算术任务并展现出被称为“grokking”的泛化突跃。具体而言，我们给出：（i）在 vanilla 梯度下降与 MSE 损失函数下、无任何正则化时，在多种模算术任务上表现出 grokking 的全连接两层网络；（ii）证据表明模算术的 grokking 对应于学习特定的特征映射，其结构由任务决定；（iii）求解一大类模算术任务的权重——以及由此得到的特征映射——的解析表达式；以及（iv）证据表明这些特征映射同样可由 vanilla 梯度下降与 AdamW 找到，从而确立网络所学表示的完全可解释性。
引用
@article{arxiv.2301.02679,
title = {Grokking modular arithmetic},
author = {Andrey Gromov},
journal= {arXiv preprint arXiv:2301.02679},
year = {2023}
}
备注
11+5 pages, 10 figures