大语言模型是有效的微调骨干吗？一项关于有监督大语言模型在中文短文本匹配上的实验研究
计算与语言
2024-04-01 v1
摘要
大语言模型（LLMs）近期的成功在学术界和工业界引起了广泛关注。先前关于 LLMs 的研究主要集中于增强或利用其在零样本和少样本设置下的泛化能力。然而，对于在监督设置下针对特定自然语言理解任务有效微调 LLMs 的研究却相对有限。在本研究中，我们通过针对中文短文本匹配任务微调 LLMs 进行了一项实验分析。我们探讨了微调 LLMs 时影响性能的多种因素，包括任务建模方法、提示格式和输出格式。
引用
@article{arxiv.2403.19930,
title = {Are LLMs Effective Backbones for Fine-tuning? An Experimental Investigation of Supervised LLMs on Chinese Short Text Matching},
author = {Shulin Liu and Chengcheng Xu and Hao Liu and Tinghao Yu and Tao Yang},
journal= {arXiv preprint arXiv:2403.19930},
year = {2024}
}