探索Kolmogorov-Arnold网络在分类任务中的局限性：关于软件训练与硬件实现的洞见
机器学习
2024-07-29 v2 硬件体系结构
摘要
Kolmogorov-Arnold网络（KAN）是一种新型神经网络，因其在人工智能中能够以更高的准确率和互操作性取代多层感知机（MLP）而近年来受到广泛关注。然而，KAN的评估仍受限，无法对特定领域进行深入分析。此外，尚无研究探讨KAN在硬件设计中的实现，这将直接表明KAN在实际应用中是否真正优于MLP。因此，本文聚焦于验证KAN在分类问题中的表现，这是AI中常见且重要的议题，我们使用四种不同类型的数据集进行测试。此外，考虑了基于Vitis高级综合（HLS）工具的相应硬件实现。据我们所知，这是首篇实现KAN硬件的论文。结果表明，在高复杂度数据集上，KAN无法超过MLP的准确率，同时耗用大量硬件资源。因此，MLP在软件和硬件实现中仍是实现准确率与效率有效平衡的有效方法。
引用
@article{arxiv.2407.17790,
title = {Exploring the Limitations of Kolmogorov-Arnold Networks in Classification: Insights to Software Training and Hardware Implementation},
author = {Van Duy Tran and Tran Xuan Hieu Le and Thi Diem Tran and Hoai Luan Pham and Vu Trung Duong Le and Tuan Hai Vu and Van Tinh Nguyen and Yasuhiko Nakashima},
journal= {arXiv preprint arXiv:2407.17790},
year = {2024}
}
备注
6 pages, 3 figures, 2 tables