不确定性感知 Perceiver

Perceiver对其输入之间的关系做出了很少的架构假设，在内存和计算时间上具有二次可扩展性。事实上，Perceiver模型在准确度上在某种程度上超越了ResNet-50和ViT，或与它们具有竞争力。然而，Perceiver没有考虑预测不确定性和校准。Perceiver的性能也仅在三个数据集、三个模型、一个评估指标和一个超参数设置上进行了泛化。最糟糕的是，Perceiver相对于其他模型的性能提升微乎其微。此外，它对架构先验的减少并不显著；与其质量并不等价。因此，我发明了Perceiver的五种变体，即不确定性感知Perceiver，以获得不确定性估计，并在三个指标上测量了它们的性能。在CIFAR-10和CIFAR-100上的实验表明，与Perceiver相比，不确定性感知Perceiver取得了显著的性能提升。