小型神经网络能否学习小型代数世界？关于窄模型训练预测群运算所学结构的探究

虽然现实世界的数学研究项目可能由动机问题引导，但数学发现的过程通常是开放的。理想情况下，回答原问题所需的探索将揭示新的结构、模式和见解，这些见解本身也具有价值。这与机器学习社区通常应用于数学的考试式范式形成鲜明对比。为最大化利用AI在数学中的进展，我们需要超越简单的问答。为此，我们探讨狭窄模型训练解决固定数学任务时，是否学习了更广泛的数学结构，这些结构可被研究人员或其他AI系统提取。作为基本测试案例，我们使用训练神经网络预测群运算的任务（例如执行模块算术或置换的组合）。我们描述了一套旨在评估模型是否捕获显著群论概念（如单位元、交换性或子群）的测试。通过大量实验，我们发现证据表明模型学习的表示能够捕获抽象代数属性。例如，我们发现模型捕获模块算术的交换性的迹象。我们还能够训练线性分类器可靠地区分某些子群的元素（尽管数据中未包含这些子群的标签）。另一方面，我们无法提取诸如单位元概念等概念。综合我们的发现，表明即使是小型神经网络的表示在某些情况下可用于从新的数学对象中提炼有趣的抽象结构。