基于置信度的模型选择：子群体分布偏移下何时走捷径
机器学习
2023-06-21 v1 人工智能
摘要
有效的机器学习模型既学习直接决定感兴趣结果的鲁棒特征（例如有轮子的物体更可能是汽车），也学习捷径特征（例如在路上的物体更可能是汽车）。后者在分布偏移下——当相关性在测试时发生改变——可能成为错误来源。鲁棒性文献中的普遍看法是避免此类相关性捷径特征并学习鲁棒预测器。然而，尽管鲁棒预测器在最坏情况分布偏移上表现更好，它们常常牺牲多数子群体上的准确率。本文主张不应完全丢弃捷径特征。相反，若我们能识别输入所属的子群体，便可自适应地在具有不同优势的模型间选择，以在多数与少数子群体上均取得高性能。我们提出基于置信度的模型选择（COnfidence-baSed MOdel Selection, CosMoS），其中我们观察到模型置信度可有效指导模型选择。值得注意的是，CosMoS 不需要任何目标标签或群体标注，而这两者可能难以获取或不可用。我们在四个具有伪相关性的数据集上评估 CosMoS，每个数据集带有多个具有不同数据分布偏移程度的测试集。我们发现，与仅使用鲁棒预测器或其他模型聚合方法相比，CosMoS 在所有子群体上的平均遗憾低 2-5%。
引用
@article{arxiv.2306.11120,
title = {Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts},
author = {Annie S. Chen and Yoonho Lee and Amrith Setlur and Sergey Levine and Chelsea Finn},
journal= {arXiv preprint arXiv:2306.11120},
year = {2023}
}
备注
15 pages, 5 figures