迁移学习中基于数据的视角
机器学习
2022-07-13 v1
摘要
人们通常认为在迁移学习中，更多的预训练数据会带来更好的性能。然而，近期证据表明，从源数据集中移除数据实际上也可能有帮助。在本工作中，我们仔细审视源数据集构成在迁移学习中的作用，并提出一个探究其对下游性能影响的框架。我们的框架产生了新的能力，例如精确定位迁移学习的脆弱性，以及检测诸如数据泄漏和源数据集中存在误导性样本等病态现象。特别地，我们证明移除由我们的框架识别出的有害数据点，可改善在多种目标任务上从ImageNet出发的迁移学习性能。代码见 https://github.com/MadryLab/data-transfer
引用
@article{arxiv.2207.05739,
title = {A Data-Based Perspective on Transfer Learning},
author = {Saachi Jain and Hadi Salman and Alaa Khaddaj and Eric Wong and Sung Min Park and Aleksander Madry},
journal= {arXiv preprint arXiv:2207.05739},
year = {2022}
}