单个神经元能否学习预测不确定性？

基于深度学习的的不确定性估计方法难以将世界状态通过测量向我们呈现的客观不确定性（客观端），与预测该状态所采用的模型设定和训练过程对其造成的混淆（主观手段）——例如神经元数量、深度、连接、先验（若模型为贝叶斯）、权重初始化等——区分开来。这引出了一个问题：在多大程度上可以消除与这些设定相关的自由度，同时仍能捕捉客观端。本文引入了一种针对连续随机变量的新型非参数分位数估计方法，其基于具有一个自由度的最简单神经网络架构：单个神经元。其优势首先通过合成实验展示，与基于排序次序统计量（尤其针对小样本量）的分位数估计以及分位数回归进行比较。在真实世界应用中，该方法可用于在分割共形预测设定下量化预测不确定性，即从预训练模型在留出验证集上的残差估计预测区间，并用于量化未来预测中的不确定性——此处单个神经元用作无结构的“温度计”，衡量预训练模型的不确定性程度。回归与分类基准实验表明，该方法在质量与覆盖度上可与 SOTA 方案竞争，并具有更高的计算效率这一额外优势。