无监督微调
计算机视觉与模式识别
2021-10-19 v1 机器学习
摘要
本文研究“无监督微调”，即著名的“有监督微调”的对称问题。给定预训练模型和小规模无标签目标数据，无监督微调旨在将源域预训练的表征适应到目标域，以获得更好的迁移性能。该问题比有监督对应问题更具挑战性，因为小规模目标数据中较低的数据密度不利于无监督学习，会导致预训练表征受损且在目标域中表征不佳。在本文中，我们发现当将微调范式从有监督转变为无监督时，源数据至关重要，并提出了两种简单有效的策略，将源数据和目标数据结合到无监督微调中：“稀疏源数据回放”和“数据混合”。前者的动机是添加一小部分源数据回来以占据其预训练表征空间，并帮助将目标数据推至一个更小的紧凑空间；后者的动机是增加数据密度并帮助学习更紧凑的表征。为了证明我们提出的“无监督微调”策略的有效性，我们在多个不同的目标数据集上进行了广泛实验，结果表明其迁移性能优于朴素策略。
引用
@article{arxiv.2110.09510,
title = {Unsupervised Finetuning},
author = {Suichan Li and Dongdong Chen and Yinpeng Chen and Lu Yuan and Lei Zhang and Qi Chu and Bin Liu and Nenghai Yu},
journal= {arXiv preprint arXiv:2110.09510},
year = {2021}
}