微调数据规模在探测微调模型中的重要性
计算与语言
2022-03-21 v1 机器学习
摘要
若干研究已通过探测的视角调查了微调有效性的原因。然而，这些研究常忽视模型所微调的数据集规模的作用。本文中，我们强调了这一因素的重要性及其在探测性能中不可否认的作用。我们表明，所编码语言知识的程度取决于微调样本的数量。分析还揭示，更大的训练数据主要影响更高层，且此种改变的程度是微调期间更新模型的迭代次数的因子，而非训练样本的多样性。最后，我们通过一组实验表明，微调数据规模影响对模型语言知识所发生变化的可恢复性。
引用
@article{arxiv.2203.09627,
title = {On the Importance of Data Size in Probing Fine-tuned Models},
author = {Houman Mehrafarin and Sara Rajaee and Mohammad Taher Pilehvar},
journal= {arXiv preprint arXiv:2203.09627},
year = {2022}
}
备注
To appear in ACL Findings 2022