基于不确定性视角考察等变模型选择

等变模型利用对称性先验知识可提高预测性能，但误指定的架构约束反而可能造成损害。虽然已有工作探索了学习或放宽约束，但在具有不同对称偏置的预训练模型之间进行选择仍具挑战。我们从不确定性感知角度考察这一模型选择任务，比较了通过共轭预测的频率主义方法、通过边际似然的贝叶斯方法以及基于校准的措施与基于naive错误评估的比较。我们发现，不确定性指标通常与预测性能一致，但贝叶斯模型证据的一致性不稳定。我们将其归因于贝叶斯与几何关于所用最后一层Laplace近似方法中模型复杂性概念之间的不匹配，并讨论了可能的补救措施。我们的发现指向不确定性在引导对称性感知模型选择方面的潜力。