利用Kolmogorov-Arnold 网络头微调提升孟加拉新闻分类
计算与语言
2025-11-27 v1 人工智能
机器学习
摘要
在资源有限的语言（如孟加拉语）中，分类任务通常仅微调最终的分类层，保持预训练编码器的权重冻结。虽然多层感知器（MLP）常用于此，但其固定的非线性可能限制表达性并增加计算成本。本 work 探索将Kolmogorov-Arnold 网络（KAN）作为分类头的替代方案，评估 Fourier 基的 FourierKAN、样条基的 EfficientKAN 和网格基的 FasterKAN——覆盖 TF-IDF、fastText 和多语言变换器（mBERT、Distil-mBERT）等多样化嵌入。实验结果表明，KAN 基于的分类头在准确率上与 MLP 相当或更优。使用 fastText 的 EfficientKAN 实现最高 F1 分数（0.928），而 FasterKAN 在速度和准确率之间提供了最佳权衡。在变换器嵌入上，EfficientKAN 在 mBERT 上匹配或略胜于 MLP（0.917 F1 分数）。这些发现突显了 KAN 作为低资源语言分类中表达性强、计算效率高的 MLP 替代方案。
引用
@article{arxiv.2511.21081,
title = {Enhancing Burmese News Classification with Kolmogorov-Arnold Network Head Fine-tuning},
author = {Thura Aung and Eaint Kay Khaing Kyaw and Ye Kyaw Thu and Thazin Myint Oo and Thepchai Supnithi},
journal= {arXiv preprint arXiv:2511.21081},
year = {2025}
}
备注
6 pages, 2 figures, 4 tables, Accepted to iSAI-NLP 2025