从损失景观视角重访深度集成用于分布外检测

现有的分布外（OoD）检测方法主要通过探索深度神经网络（DNNs）中特征、logits 与梯度的差异，来从分布内（InD）数据中检测 OoD 样本。我们在本工作中提出一种基于损失景观与模态集成的新视角来研究 OoD 检测。在 DNNs 的优化中，参数空间存在许多局部最优解，或称模态（modes）。有趣的是，我们观察到这些独立的模态虽均能在 InD 数据（训练与测试数据）上达到低损失区域，却对 OoD 数据产生显著不同的损失景观。这一观察为从损失景观研究 OoD 检测提供了新视角，并进一步表明这些模态间的 OoD 检测性能波动显著。例如，RankFeat 方法的 FPR 值在 5 个模态间可从 46.58% 到 84.70% 不等，显示出跨独立模态不确定的检测性能评估。受此种跨模态 OoD 损失景观多样性的启发，我们通过模态集成重访用于 OoD 检测的深度集成方法，从而提升性能并使 OoD 检测器方差减小。涵盖多种 OoD 检测器与网络结构的大量实验表明了跨模态的高方差，并验证了模态集成在提升 OoD 检测中的优越性。我们希望本工作能引起对 OoD 数据损失景观中独立模态视角及更可靠的 OoD 检测器评估的关注。