用于条件概率密度的神经贝叶斯估计器
数据分析、统计与概率
2007-05-23 v1
摘要
本文描述了一种稳健的算法，用于将条件概率密度f(t|x)估计为非参数平滑回归函数。它基于神经网络和将网络输出解释为后验概率的贝叶斯解释。网络使用来自历史或模拟的示例事件进行训练，这些事件定义了潜在的概率密度f(t,x)。训练完成后，网络应用于新的、未知的示例x，它可以预测目标变量t的概率分布。逐事件了解平滑函数f(t|x)可能非常有用，例如在最大似然拟合或预测任务中。无需对分布做任何假设，非高斯尾部也会自动考虑。重要的量，如中位数、平均值、左右标准差、矩以及任何t函数的期望值，都可以很容易地从中导出。该算法可以被视为逐事件反解，并导致统计上最优的重建。该方法的最大优势在于复杂问题，即当测量值x与输出t仅相对较弱相关时。为确保最佳的泛化特性并避免过拟合，网络通过扩展版本的权重衰减进行正则化。正则化参数在网络在线学习过程中通过贝叶斯统计获得的关系来确定。讨论了一些玩具蒙特卡洛测试以及来自高能物理和计量经济学的首批实际应用示例。
引用
@article{arxiv.physics/0402093,
title = {A Neural Bayesian Estimator for Conditional Probability Densities},
author = {Michael Feindt},
journal= {arXiv preprint arXiv:physics/0402093},
year = {2007}
}
备注
26 pages, 9 figures. This article is a reprint of an internal EKP note from January 2001, corrected and supplemented by information on the development in the 3 years since then. The algorithm is implemented and further developed in the NeuroBayes package by Phi-T Physics Information Technologies GmbH, Karlsruhe, Germany