比特率约束的 DRO：超越对未知组分布偏移的最坏情况鲁棒性
机器学习
2023-10-13 v2
摘要
训练对分布偏移具有鲁棒性的机器学习模型对现实世界应用至关重要。一些鲁棒训练算法（如 Group DRO）专门针对组偏移，并且需要所有训练点上的组信息。其他不需要组标注的方法（如 CVaR DRO）可能过于保守，因为它们天真地对高损失点赋予高权重，而这些点可能形成一个人为构造的集合，并不对应现实世界中的任何有意义的组（例如，当高损失点是随机误标的训练点时）。在本工作中，我们通过假设一种更细致的组偏移形式来解决先前方法的局限性：在给定标签的条件下，我们假设真实的组函数（组上的指示函数）是简单的。例如，我们可能期望组偏移沿着低比特率特征（如图像背景、光照）发生。因此，我们旨在学习一个在这些低比特率特征实现的简单组函数上保持高准确率的模型，该模型无需花费宝贵的模型容量来在人为构造的样本组上实现高准确率。基于此，我们考虑了 DRO 的双人博弈公式，其中对手的容量受比特率约束。我们最终得到的实用算法——比特率约束的 DRO（BR-DRO），不需要训练样本上的组信息，但在具有训练组标注的数据集上匹配了 Group DRO 的性能，在长尾分布上匹配了 CVaR DRO 的性能。我们的理论分析表明，在某些设置下，BR-DRO 目标可证明能产生统计高效且比无约束 CVaR DRO 更不保守的解。
引用
@article{arxiv.2302.02931,
title = {Bitrate-Constrained DRO: Beyond Worst Case Robustness To Unknown Group Shifts},
author = {Amrith Setlur and Don Dennis and Benjamin Eysenbach and Aditi Raghunathan and Chelsea Finn and Virginia Smith and Sergey Levine},
journal= {arXiv preprint arXiv:2302.02931},
year = {2023}
}