由体系结构引起的可恢复偏差:可微符号回归中的可解释性研究
神经与进化计算
2026-05-29 v2 人工智能
机器学习
符号计算
摘要
符号回归旨在从数值数据中恢复闭形式表达式,但在可微符号回归中,恢复的表达式不仅取决于语法规则,还取决于训练期间变量路由所依赖的固定体系结构。这一现象在需要闭形式模型和可解释非线性结构的信号处理场景中尤为重要。由于现有比较往往同时变更体系结构、算子族、语法或搜索程序,导致该体系结构特有的效应很少被直接隔离。本文在保持算子族、语法和训练协议基本固定的前提下,比较了三种深度为3的体系结构,涵盖24种算子—形状—叶子数组合。结果显示,恢复率可从0/64个试验提升至64/64个试验。不同目标上表现最好的体系结构,反而在另一个目标上表现最差;深度相等的子树在所有测试配置中都无法成功(0/3776)。作为一种概念性缓解措施,本文训练一小组体系结构并选取在留样误差最低的硬化表达式。在共同运行的子集上,这一方法将恢复率从仅包含在所有三个配置中的唯一体系结构的34.4%提升至50.1%。在Shockley二极管目标上,验证选择器能够恢复该基线体系结构遗漏的案例(该体系结构本身仅能恢复0/32个随机种子)。由于共同运行的子集仅包含三个配置,选择器结果表明基于验证集的体系结构选择具有前景,而非完整基准。这些结果支持将体系结构视为可度量的设计变量,应在报告中标明、进行压力测试,并通过留样验证进行选择。
引用
@article{arxiv.2604.23256,
title = {Architecture-Induced Recoverability Bias in Differentiable Symbolic Regression},
author = {Chakshu Gupta and Theodore J. LaGrow},
journal= {arXiv preprint arXiv:2604.23256},
year = {2026}
}
备注
6 pages, 4 figures, 3 tables; submitted to IEEE MLSP 2026