通过以属性为中心的信息瓶颈学习可分解且去偏的表征

数据集中与目标标签存在虚假相关的偏置属性，会问题性地导致神经网络学习到不恰当的捷径进行分类，并限制其分布外（OOD）泛化的能力。尽管已提出许多去偏方法以确保从偏置数据集中做出正确预测，但很少有研究考虑学习由内在属性和偏置属性组成的潜在嵌入，以提升性能并解释模型如何关注属性。在本文中，我们提出了一种新颖的去偏框架——去偏全局工作空间，该框架引入了基于注意力的信息瓶颈，用于学习属性的组合表征，而无需定义特定的偏置类型。基于我们观察到学习以形状为中心的表征有助于在OOD数据集上实现鲁棒性能，我们采用这些能力来学习与内在属性和偏置属性相对应的可分解潜在嵌入的鲁棒且可泛化的表征。我们在偏置数据集上进行了全面评估，并结合定量和定性分析，展示了我们的方法在以属性为中心的表征学习方面的有效性，及其区分内在特征和偏置相关特征的能力。