横向分析模型在并发分布迁移中的鲁棒性
机器学习
2025-01-09 v1
摘要
机器学习模型在针对源数据精细调优后，常常在面临分布迁移（DS）时无法预测目标数据。虽然已有大量基准研究，但主要关注简单 DS。鉴于 DS 在现实场景中常以更复杂形式出现，本文将研究范围拓展至包括多个并发迁移，如结合不可见域迁移和伪相关性。我们在 168 对来自 8 个数据集的 source-target 对上评估了 26 种算法，从简单规则数据增强到使用基础模型进行零样本推断。我们分析了超过 10 万个模型的结果，发现：（i）并发 DS 通常比单一迁移导致性能进一步恶化，尽管也有例外情况；（ii）如果模型能够提高一个分布迁移的泛化能力，它倾向于对其他迁移也有效；（iii）启发式数据增强在 synthetic 和 real-world 数据集上实现了最佳整体性能。
引用
@article{arxiv.2501.04288,
title = {An Analysis of Model Robustness across Concurrent Distribution Shifts},
author = {Myeongho Jeon and Suhwan Choi and Hyoje Lee and Teresa Yeo},
journal= {arXiv preprint arXiv:2501.04288},
year = {2025}
}
备注
Accepted to TMLR