泛化到任意多样分布：均匀性、温和微调与再平衡
机器学习
2024-10-10 v1
摘要
随着训练数据集越来越大，我们渴望开发能够良好泛化到任意多样测试分布的模型，即使后者与训练数据存在显著偏差。各种方法如领域自适应、领域泛化和鲁棒优化，通过假设训练分布和测试分布之间的关系来尝试解决分布外挑战。不同的是，我们采取了一种更保守的视角，考虑了在已知领域内所有足够多样的测试分布上的最坏情况误差。我们的第一个发现是，在该领域上训练一个均匀分布是最优的。我们还探讨了当均匀样本不可用时的实用补救措施，考虑了通过微调和再平衡来减轻非均匀性的方法。我们的理论为先前关于熵和再平衡在分布外泛化和基础模型训练中作用的观察提供了数学基础。我们还提供了涉及分布外偏移任务的新实证证据，这些证据说明了我们视角的广泛适用性。
引用
@article{arxiv.2410.05980,
title = {Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing},
author = {Andreas Loukas and Karolis Martinkus and Ed Wagstaff and Kyunghyun Cho},
journal= {arXiv preprint arXiv:2410.05980},
year = {2024}
}