通过冗余扩展信息瓶颈增强多种可靠性度量

在训练数据有限的实际场景中，数据中的许多预测信号可能来自数据采集中的某些偏差（即泛化性较差），因此无法阻止模型在此类（所谓）“捷径”信号上共同适应：这使得模型在各种分布偏移下十分脆弱。为规避此类失败模式，我们考虑在互信息约束下的对抗威胁模型，以覆盖训练中更广泛的扰动类别。这促使我们将标准信息瓶颈扩展以额外建模冗余信息。我们提出了一种基于自编码器的训练来实现该目标，以及实用的编码器设计以促进所提出的混合判别-生成训练，涉及基于卷积和基于 Transformer 的架构。我们的实验结果表明，所提出的方案改善了学习表示的鲁棒性（显著地未使用任何领域特定知识），针对多种具有挑战性的可靠性度量。例如，我们的模型在近期具有挑战性的 OBJECTS 基准的新颖性检测上将最先进水平从 $78.4\% \rightarrow 87.2\%$ 的 AUROC 提升，同时享有改善的损坏、背景和（认证的）对抗鲁棒性。代码可见于 https://github.com/jh-jeong/nuisance_ib。