KAN 还是 MLP：一次更公平的比较
机器学习
2024-08-20 v2 人工智能
摘要
本文并不引入新方法，而是提供了KAN与MLP模型在各种任务上的更公平、更全面的比较，包括机器学习、计算机视觉、音频处理、自然语言处理和符号公式表示等。具体而言，我们控制参数数量和FLOPs，以便在不同任务中比较KAN与MLP的性能。我们的主要观察是：除符号公式表示任务外，MLP通常表现优于KAN。我们还对KAN进行消融研究，发现其在符号公式表示上的优势主要来自其B样条激活函数。当将B样条应用于MLP时，符号公式表示任务的性能会显著提升，超越或相当于KAN的性能。然而，在MLP已在其他任务中超过KAN的领域，B样条并不显著提升MLP的性能。此外，我们发现KAN在标准的类递增持续学习设置下的遗忘问题比MLP更严重，这与KAN论文中报告的发现不同。我们希望这些结果为未来研究KAN及其他MLP替代方案提供见解。项目链接：https://github.com/yu-rp/KANbeFair
引用
@article{arxiv.2407.16674,
title = {KAN or MLP: A Fairer Comparison},
author = {Runpeng Yu and Weihao Yu and Xinchao Wang},
journal= {arXiv preprint arXiv:2407.16674},
year = {2024}
}
备注
Technical Report