KAN 与 MLP 在离线强化学习中的对比研究
机器学习
2024-09-17 v1 人工智能
摘要
Kolmogorov-Arnold 网络 (KAN) 是机器学习中一种新兴的神经网络架构。研究界对 KAN 能否成为常用多层感知机 (MLP) 的有前景替代方案产生了浓厚兴趣。各领域的实验表明，基于 KAN 的机器学习可以达到与基于 MLP 的方法相当甚至更优的性能，同时参数规模更小且更具可解释性。在本文中，我们探索将 KAN 融入离线强化学习 (RL) 的 Actor 和 Critic 网络。我们在离线 RL 的经典 D4RL 基准上，评估了多种基于 KAN 和 MLP 的保守 Q 学习 (CQL) 的性能、参数规模和训练效率。我们的研究表明，KAN 能够以显著更少的参数达到接近常用 MLP 的性能。这为我们根据离线 RL 任务的需求选择基础网络提供了一种选项。
引用
@article{arxiv.2409.09653,
title = {KAN v.s. MLP for Offline Reinforcement Learning},
author = {Haihong Guo and Fengxin Li and Jiao Li and Hongyan Liu},
journal= {arXiv preprint arXiv:2409.09653},
year = {2024}
}
备注
5 pages,2 figures