分布鲁棒优化与不变表示学习用于解决子群代表性不足:机制与局限
计算机视觉与模式识别
2023-08-15 v1
摘要
由子群代表性不足引起的虚假相关作为深度神经网络(DNNs)可能放大的偏倚来源,已受到越来越多的关注。分布鲁棒优化在解决此偏倚方面已显示出成效,尽管其底层工作机制主要依赖于对表现不佳样本进行加权,以作为数据中代表性不足样本的替代。同时,尽管不变表示学习已成为去除 nuisance 敏感特征的有力选择,在虚假相关由子群显著代表性不足引起的场景中却鲜被考虑。本文迈出第一步,以更好理解与改进医学图像分类中子群代表性不足所致虚假相关的去偏机制。通过综合评估研究,我们首先表明:1)当偏倚并非性能不佳的唯一原因时,对表现不佳样本的一般化重加权可能存在问题;而2)朴素不变表示学习本身受困于虚假相关。我们随后提出一种新方法,利用鲁棒优化在存在虚假相关时促进不变表示的学习。利用此类表示的微调分类器展现出降低子群性能差异的能力,同时保持高平均与最差子群性能。
引用
@article{arxiv.2308.06434,
title = {Distributionally Robust Optimization and Invariant Representation Learning for Addressing Subgroup Underrepresentation: Mechanisms and Limitations},
author = {Nilesh Kumar and Ruby Shrestha and Zhiyuan Li and Linwei Wang},
journal= {arXiv preprint arXiv:2308.06434},
year = {2023}
}
备注
Accepted at FAIMI-2023