预训练与微调表示的相似性
机器学习
2022-07-20 v1 人工智能
机器学习
摘要
在迁移学习中，通常仅对网络的最后部分——即所谓的头部（head）——进行微调。表示相似性分析表明，即使所有权重可更新，最显著的变化仍发生在头部。然而，少样本学习的最新结果表明，早期层（多为卷积层）中表示的改变是有益的，尤其在跨域适应的情形下。在本文中，我们探究这是否也适用于迁移学习。此外，我们分析了迁移学习中预训练与微调期间的表示变化，发现若预训练结构不可用，则会被遗忘。
引用
@article{arxiv.2207.09225,
title = {Similarity of Pre-trained and Fine-tuned Representations},
author = {Thomas Goerttler and Klaus Obermayer},
journal= {arXiv preprint arXiv:2207.09225},
year = {2022}
}
备注
Workshop of Updatable Machine Learning at ICML 2022