微调顺序是否有影响以及其原因？
软件工程
2024-10-07 v1
摘要
为提高目标任务上的性能，研究人员通常会在感兴趣的目标任务之前进行中间任务的微调。然而，先前的研究聚焦于预训练语言模型和自然语言处理 (NLP) 中的下游任务，且仅考虑一个中间任务。对多个中间任务及其顺序对目标任务性能影响的研究在软件工程领域尚未得到充分探索。本文进行首个针对任务顺序对目标任务性能影响的实证研究。实验结果表明，任务顺序对目标任务性能有显著影响，最高可达 6% 的性能提升或 4% 的性能下降。为解释这种影响，我们考察了各种潜在因素，包括数据集特征（句法相似性和语义相似性分析、数据集规模）、模型（探针任务和注意力分析）以及任务（任务亲和性分析）。我们的研究为软件工程领域的研究者和实践者提供了关于任务顺序影响的见解，以及如何在获得最佳性能收益的同时选择成本效益最高的顺序的指导。
引用
@article{arxiv.2410.02915,
title = {Does the Order of Fine-tuning Matter and Why?},
author = {Qihong Chen and Jiawei Li and Hyunjae Suh and Lianghao Jiang and Zheng Zhou and Jingze Chen and Jiri Gesi and Iftekhar Ahmed},
journal= {arXiv preprint arXiv:2410.02915},
year = {2024}
}