对Kolmogorov-Arnold网络进行软符号化

Kolmogorov-Arnold网络（KANs）为可解释机器学习提供了可行的路径：其可学习的激活函数可以单独加以研究，同时整体上能够准确拟合复杂数据。在实际中，训练后的激活函数往往缺乏符号保真度，学习出毫无意义的分解形式。我们提出了软符号化Kolmogorov-Arnold网络（Softly Symbolified Kolmogorov-Arnold Networks, S2KAN），其将符号原语直接集成到训练中。每个激活函数从符号和稠密术语的字典中抽取，通过可学习的门控机制稀疏化表示。关键在于，这种稀疏化是可微分的，实现端到端优化，并受到原则化的最小描述长度（Minimum Description Length）目标的指导。当符号术语足够时，S2KAN发现可解释形式；当符号术语不足时，它优雅地退化为稠密样条。我们在符号基准、动力系统预测和真实世界预测任务上展示了S2KAN在准确率方面具有竞争力或优于性，同时观察到即使没有正则化压力，S2KAN也显示出自我稀疏化的迹象。