KAE:用于表示学习的 Kolmogorov-Arnold 自编码器
机器学习
2025-01-03 v1
摘要
Kolmogorov-Arnold 网络(KAN)近来作为传统多层感知机(MLP)的替代方案受到关注,它通过在边上使用可学习的激活函数,提供了更高的准确性与可解释性。本文提出 Kolmogorov-Arnold 自编码器(KAE),将 KAN 与自编码器(AE)相结合,以增强在检索、分类与去噪任务中的表示学习能力。借助 KAN 层中灵活的多项式函数,KAE 能够捕捉复杂的数据模式与非线性关系。在基准数据集上的实验表明:与标准自编码器及其他 KAN 变体相比,KAE 提升了潜在表示的质量,降低了重构误差,并在检索、分类与去噪等下游任务中取得了更优的性能。这些结果表明 KAE 有望成为表示学习中的有用工具。代码已公开于 \url{https://github.com/SciYu/KAE/}。
引用
@article{arxiv.2501.00420,
title = {KAE: Kolmogorov-Arnold Auto-Encoder for Representation Learning},
author = {Fangchen Yu and Ruilizhen Hu and Yidong Lin and Yuqi Ma and Zhenghao Huang and Wenye Li},
journal= {arXiv preprint arXiv:2501.00420},
year = {2025}
}