通过Kolmogorov-Arnold表示加速变形器模型中学习算术运算的“显悦”现象
机器学习
2024-05-28 v1 人工智能
摘要
我们提出了新的方法，旨在加速“显悦”现象，即在一段时间的过拟合后，测试准确率迅速上升~\cite{power2022grokking}。我们聚焦于通过变形器模型学习算术二元运算时出现的显悦现象，首先讨论了关于交换性二元运算数据增强的情况。为进一步加速，我们从Kolmogorov-Arnold (KA) 表示定理的视角阐释算术运算，揭示其与变形器架构之间的对应关系：嵌入层、解码器模块和分类器。观察到与二元运算相关的KA表示之间存在的共享结构，我们建议各种可加速显悦的迁移学习机制。通过一系列严谨的实验验证了这种解释。此外，我们的方法在学习两种非标准算术任务方面也大获成功：运算的组合以及方程组。进一步地，我们发现该模型能够在嵌入迁移的情况下，通过有限的标记数来学习算术运算，这一发现也得到一系列实验的支持。
引用
@article{arxiv.2405.16658,
title = {Acceleration of Grokking in Learning Arithmetic Operations via Kolmogorov-Arnold Representation},
author = {Yeachan Park and Minseok Kim and Yeoneung Kim},
journal= {arXiv preprint arXiv:2405.16658},
year = {2024}
}