面向鲁棒性提升的 Kolmogorov-Arnold 网络的 In-Context 符号回归
机器学习
2026-04-21 v2 人工智能
摘要
符号回归旨在用简洁的解析表达式取代黑箱预测器，这些表达式可以在科学机器学习中被检查和验证。Kolmogorov-Arnold 网络（KANs）因其连接相邻单元之间（即“边”）的参数化单变量函数而特别适合这一目标，这些函数原则上可以被替换为符号算子。然而在实际操作中，符号提取是一个瓶颈：标准的 KAN-to-symbol 方法会针对每个学习得到的边函数独立地拟合算子，这使得离散选择对初始化敏感且受参数非凸拟合影响，同时忽略了局部替换通过整个网络的相互作用。在本文中，我们研究用于 KANs 中算子提取的 in-context 符号回归，并提出两种互补的实现方法。贪心 in-context 符号回归（GSR）通过选择根据端到端损失改进后的边替换进行的贪心、in-context 选择；门控匹配追踪（Gated Matching Pursuit, GMP）通过训练可微分的门控算子层，将算子库置于每个边上的稀疏门之后；收敛后可离散化（可选followed by 短暂的 in-context 贪心精炼 pass）。我们通过单因素置换（OFAT）超参数扫描来量化鲁棒性，并评估两种预测误差和恢复公式的定性一致性。在多个实验中，贪心 in-context 符号回归可实现至多 99.8% 的中位数 OFAT 测试 MSE 降低。
引用
@article{arxiv.2603.15250,
title = {In-Context Symbolic Regression for Robustness-Improved Kolmogorov-Arnold Networks},
author = {Francesco Sovrano and Lidia Losavio and Giulia Vilone and Marc Langheinrich},
journal= {arXiv preprint arXiv:2603.15250},
year = {2026}
}
备注
24 pages; Accepted for publication at XAI'2026