面向 out-of-distribution 泛化的特征保护
机器学习
2024-05-28 v1
摘要
随着大型预训练模型的可用性，构建实际应用中机器学习解决方案的现代工作流程是对此类模型进行微调，以适应下游任务，仅使用相对较小的领域特定数据集。在此类应用中，一个主要挑战是小型微调数据集无法覆盖模型部署时遇到的分布。因此，重要的是要设计能对因训练数据中欠represent 而出现的 out-of-distribution（OOD）数据鲁健的微调方法。本文比较了常见的微调方法，以调查其 OOD 性能，表明标准方法会导致预训练模型发生显著变化，以至于微调后的特征对微调数据集过拟合。然而，这会导致 OOD 性能下降。为克服这一问题，我们表明，保护预训练特征可导致更适用于 OOD 泛化的微调模型。我们通过在 ImageNet 和 DomainNet 上进行大量微调实验验证了特征保护方法。
引用
@article{arxiv.2405.16027,
title = {Feature Protection For Out-of-distribution Generalization},
author = {Lu Tan and Huei Zhou and Yinxiang Huang and Zeming Zheng and Yujiu Yang},
journal= {arXiv preprint arXiv:2405.16027},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2309.06256