如何为微调准备你的任务头
机器学习
2023-02-14 v1 人工智能
摘要
在深度学习中，通过微调将预训练网络的信息迁移到下游任务具有诸多益处。任务头的选择在微调中起着重要作用，因为预训练任务与下游任务通常不同。尽管存在许多不同的微调设计，但对这些算法何时及为何有效的完整理解一直难以捉摸。我们分析了任务头的选择如何控制特征适配并从而影响下游性能。通过分解适配的学习动态，我们发现关键方面在于微调开始时的训练准确率与损失，其决定了特征适配可用的“能量”。我们识别出该初始能量变化对微调后所得特征影响的显著趋势。具体而言，随着能量增加，所得特征与原始特征之间的欧氏距离与余弦距离增大，而它们的点积（及所得特征的范数）先增后减。受此启发，我们给出了若干带来更好下游性能的实际原则。我们在过参数化线性设定下解析证明了该趋势，并验证了其对不同实验设置的适用性。
引用
@article{arxiv.2302.05779,
title = {How to prepare your task head for finetuning},
author = {Yi Ren and Shangmin Guo and Wonho Bae and Danica J. Sutherland},
journal= {arXiv preprint arXiv:2302.05779},
year = {2023}
}