解耦 PFN：通过结构化合成先验实现可识别的认知与偶然不确定性分解
机器学习
2026-05-08 v1 机器学习
摘要
先验拟合网络（Prior-Fitted Networks, PFNs）通过对合成任务先验进行元学习来摊销贝叶斯预测，但其标准输出是关于带噪观测的后验预测分布。对于主动学习和贝叶斯优化等序贯决策问题，采集函数应优先考虑关于潜在信号的认知不确定性，而非不可约减的偶然观测噪声。我们证明，这种认知与偶然不确定性的分离通常无法仅凭后验预测分布进行识别，即使该分布被精确已知。随后我们利用了 PFNs 的一个独特优势：由于合成数据生成过程受我们控制，每个任务可以包含显式的潜在信号函数和噪声函数，且生成器可以为无噪声目标和观测噪声方差两者提供查询级别的标签。我们使用这些标签来训练一个具有独立的潜在信号头和偶然头的解耦 PFN。观测级别的预测分布通过将潜在信号分布与学习到的噪声模型进行卷积来导出。在实验中，仅基于认知不确定性的采集策略缓解了在噪声和异方差设置下全方差探索的失败模式。在匹配对比中，解耦模型通常优于经过调优的观测级别基线，在 HPO 中增益最为明显；在更广泛的扫描中，一个解耦模型在 HPO 和合成 BO 中均获得了最佳平均排名。
引用
@article{arxiv.2605.06413,
title = {Decoupled PFNs: Identifiable Epistemic-Aleatoric Decomposition via Structured Synthetic Priors},
author = {Richard Bergna and Stefan Depeweg and José Miguel Hernández-Lobato},
journal= {arXiv preprint arXiv:2605.06413},
year = {2026}
}