FourierKAN在文本分类头微调中优于MLP
计算与语言
2024-09-20 v2
摘要
在资源受限环境下，适应下游分类任务涉及微调分类器的最后一层（即分类头），同时保持模型其余权重冻结。多层感知机（MLP）头配合预训练Transformer骨干网络长期是文本分类头微调的事实标准。然而，MLP固定的非线性往往难以充分捕捉预训练模型产生的上下文嵌入的细微差别，同时也计算代价高昂。在我们的工作中，我们研究了KAN及其变体Fourier KAN（FR-KAN）作为替代文本分类头的有效性。实验表明，FR-KAN显著优于MLP，在七个预训练Transformer模型和四个文本分类任务上平均准确率提升10%，F1分数提升11%。除性能提升外，FR-KAN计算效率更高，训练更快，参数更少。这些结果强调了FR-KAN作为轻量级分类头的潜力，对推进其他自然语言处理（NLP）任务具有更广泛的意义。
引用
@article{arxiv.2408.08803,
title = {FourierKAN outperforms MLP on Text Classification Head Fine-tuning},
author = {Abdullah Al Imran and Md Farhan Ishmam},
journal= {arXiv preprint arXiv:2408.08803},
year = {2024}
}