SymTorch：神经网络的符号蒸馏

神经网络组件学习了哪些数学函数？符号蒸馏通过用可解释的闭合形式数学表达式来表达神经网络组件，以揭示训练期间所学函数结构。我们将符号蒸馏作为一种系统化、与体系结构无关的方法，并将其作为开源 SymTorch 软件包发布——一个内置于 PyTorch 生态系统中、基于 PySR 的库。在多种体系结构上应用此方法后，我们发现 SymTorch 成功地实现了物理规律的自动发现。具体而言，我们的方法(1)从图神经网络中从经验 $n$ 体观察数据中恢复成对相互作用力；(2)从稀疏数据上训练的物理信息神经网络中提炼出多个物理系统的恰当闭合形式 PDE/ODE 解，包括常数的数值；(3)从高维数据中揭示 Lorenz 系统的混沌动力学，最终在下游预测任务中超越基准神经网络。我们进一步通过为模型可解释性提供优化实现，展示了 SLIME——一种对 LIME 可解释性方法的符号扩展。SLIME 在八个流行分类与回归基准测试中持续优于 LIME，同时仍能提供可解释的局部符号模型。最后，我们调查了将变换器 MLP 层替换为符号替代物：用符号近似替代 1-7 层可实现 2-19% 的吞吐量提升和最高 18.7% 的显存降低， resulting hybrid models lying on the Pareto front of throughput versus perplexity among open-source LLMs of comparable scale。