分布性鲁棒核心集选择：面对协变量迁移
机器学习
2025-02-19 v2 机器学习
摘要
核心集选择是从现有训练数据集中选择小型子集的过程，这是一种减少训练数据的方法，已提出 various 方法。 在实际应用中，常常存在开发阶段与部署阶段数据分布不同的情况，后者往往是未知的。因此，选择能在所有部署情景下均表现良好的训练子集数据具有挑战性。我们因此提出了分布性鲁棒核心集选择（DRCS）。DRCS 在假设未来协变量分布可能在一定范围内偏离训练分布的前提下，理论上推导了最坏情况测试误差上界的估计值。Furthermore, 通过选择抑制最坏情况测试误差上界估计值的实例，DRCS 实现了分布性鲁棒训练实例选择。该研究主要适用于凸优化训练计算，但我们还展示了在合适的近似方法下也可用于深度学习。本文聚焦于协变量迁移，这是一种数据分布迁移类型，并通过实验展示了DRCS的有效性。
引用
@article{arxiv.2501.14253,
title = {Distributionally Robust Coreset Selection under Covariate Shift},
author = {Tomonari Tanaka and Hiroyuki Hanada and Hanting Yang and Tatsuya Aoyama and Yu Inatsu and Satoshi Akahane and Yoshito Okura and Noriaki Hashimoto and Taro Murayama and Hanju Lee and Shinya Kojima and Ichiro Takeuchi},
journal= {arXiv preprint arXiv:2501.14253},
year = {2025}
}