分布偏移学习中粗粒度与细粒度模型的等价性
数据结构与算法
2026-05-19 v2 机器学习
摘要
近期关于分布偏移下可证明高效学习算法的工作集中于两个模型：PQ 学习（Goldwasser et al. (2020)）和 TDS 学习（Klivans et al. (2024)）。TDS 学习算法被允许在检测到分布偏移时完全拒绝测试集。相比之下，PQ 学习器只能逐个拒绝被视为分布外的点。我们的主要结果是这两个模型在无分布设置下的惊人等价性。具体而言，我们给出了从 PQ 学习到 TDS 学习的高效黑盒归约，适用于任何布尔概念类。该等价性意味着诸如半空间等基本类的无分布 TDS 学习的首个困难性结果。支撑我们等价性的主要技术贡献是一种通过分支程序提升 TDS 学习器弱区分能力的方法，这些 TDS 学习器已拒绝了目标域。我们还表明，给予学习器成员查询权限可以绕过这些困难性结果，并允许半空间的高效无分布 PQ 可学习性。我们的算法通过在训练数据上连续应用 Forster 变换，迭代地恢复大间隔分离器。
引用
@article{arxiv.2605.07005,
title = {Equivalence of Coarse and Fine-Grained Models for Learning with Distribution Shift},
author = {Adam R. Klivans and Shyamal Patel and Konstantinos Stavropoulos and Arsen Vasilyan},
journal= {arXiv preprint arXiv:2605.07005},
year = {2026}
}
备注
26 pages, Accepted to COLT 2026