（隐式）模型集合：深度学习中的不确定性消失

认识到不确定性在安全关键应用和数据获取任务中至关重要。然而，我们发现深度学习模型中存在一种重要现象：随着模型复杂度增加，不确定性会发生消失，这挑战了较大模型始终提供更好不确定性量化的假设。我们提出了隐式集合化作为解释这种现象的可能方法。为检验此假设，我们提供了理论分析和实验，表明在显式集合化的集合化中观察到不确定性消失，并在各种体系结构中（从简单MLP到最先进的视觉模型，包括ResNet和Vision Transformer）观察到类似的消失现象。我们进一步开发了从解密较大模型中提取隐式集合化的技术，显示我们能够因此恢复不确定性。我们探讨了这些发现对不确定性估计的含义。