低秩适配超越已知群体的鲁棒性
机器学习
2026-02-10 v2
摘要
训练目标是优化平均准确率的深度学习模型常在特定子群体上表现出系统性失效。在现实场景中，最受此类差异影响的子群体往往是未标记或未知的，因此推动开发在无需预先指定的情况下对敏感子群体表现良好的方法。然而，现有基于群体的鲁棒方法通常假设已知相关子群体，通过群体注释进行训练或模型选择。我们提出低秩误差导inform适应（LEIA），这是一种简单两阶段方法，通过识别表示空间中模型误差集中于低维子空间的方式来提高群体鲁棒性。LEIA通过对分类逻辑 logits 进行低秩调整，将适应限制在该误差导inform子空间，从而直接针对潜在失败模式进行调整，而无需修改 backbone 或需要群体标签。在五个真实数据集上，我们分析了三种情景下的群体鲁棒性：（1）完全没有子群体相关性的知识，（2）部分子群体相关性的知识，（3）完全了解子群体相关性。在所有情景下，LEIA consistently improve worst-group performance，同时保持快速、参数高效且对超参数选择鲁棒。
引用
@article{arxiv.2602.06924,
title = {Robustness Beyond Known Groups with Low-rank Adaptation},
author = {Abinitha Gourabathina and Hyewon Jeong and Teya Bergamaschi and Marzyeh Ghassemi and Collin Stultz},
journal= {arXiv preprint arXiv:2602.06924},
year = {2026}
}