迁移学习中的偏差何时迁移？
机器学习
2022-07-07 v1
摘要
使用迁移学习将预训练的“源模型”适配到下游“目标任务”可以显著提升性能，且看似没有缺点。在这项工作中，我们证明终究可能存在一个缺点：偏差迁移，即源模型的偏差即使在模型适配到目标类别后仍持续存在的倾向。通过综合合成实验和自然实验，我们表明偏差迁移 (a) 会在现实场景中出现（例如在 ImageNet 或其他标准数据集上预训练时），并且 (b) 即使目标数据集被明确地去偏后仍可能发生。随着迁移学习模型越来越多地部署在现实世界中，我们的工作强调了理解预训练源模型局限性的重要性。代码可在 https://github.com/MadryLab/bias-transfer 获取。
引用
@article{arxiv.2207.02842,
title = {When does Bias Transfer in Transfer Learning?},
author = {Hadi Salman and Saachi Jain and Andrew Ilyas and Logan Engstrom and Eric Wong and Aleksander Madry},
journal= {arXiv preprint arXiv:2207.02842},
year = {2022}
}