关于在具有高度判别性特征的数据上微调的后果
机器学习
2023-11-17 v2
摘要
在迁移学习时代，从零训练神经网络正变得过时。迁移学习利用先验知识应对新任务，节省计算资源。尽管其优势已有充分记载，我们揭示了一个显著缺陷：网络倾向于优先关注基础数据模式，而舍弃有价值的预学习特征。我们将此行为称为“特征侵蚀”，并分析其对网络性能与内部表征的影响。
引用
@article{arxiv.2310.19537,
title = {On consequences of finetuning on data with highly discriminative features},
author = {Wojciech Masarczyk and Tomasz Trzciński and Mateusz Ostaszewski},
journal= {arXiv preprint arXiv:2310.19537},
year = {2023}
}
备注
NeurIPS 2023 -- UniReps Workshop