在Kolmogorov Arnold网络上的后验自由校准
机器学习
2025-03-04 v1 计算机视觉与模式识别
摘要
Kolmogorov Arnold网络(KANs)是受Kolmogorov Arnold表示定理启发的神经网络架构，使用B样条参数化实现灵活、局部自适应的函数逼近。虽然KANs能够捕捉超越标准多层感知器(MLPs)所建模的复杂非线性，但它们经常表现出校准不良的置信度估计，表现为在稠密数据区域过度自信，在稀疏区域不足自信。本文系统性地考察了包括层宽、网格顺序、shortcut函数和网格范围等四个关键超参数对KANs校准的影响。此外，我们引入了一种新的TemperatureScaled Loss(TSL)，将温度参数直接集成到训练目标中，动态调整学习期间的预测分布。理论分析和在标准基准上的广泛实证评估表明，TSL显著减少校准误差，从而提高了概率预测的可靠性。总体而言，本研究为设计基于样条的神经网络提供了可操作的见解，并将TSL established as a robust loss solution for enhancing calibration.
关键词
引用
@article{arxiv.2503.01195,
title = {PostHoc FREE Calibrating on Kolmogorov Arnold Networks},
author = {Wenhao Liang and Wei Emma Zhang and Lin Yue and Miao Xu and Olaf Maennel and Weitong Chen},
journal= {arXiv preprint arXiv:2503.01195},
year = {2025}
}
备注
Under reviewing