贝叶斯场论:密度估计、回归、分类与逆量子问题的非参数方法
数据分析、统计与概率
2007-05-23 v3 adap-org
无序系统与神经网络
适应与自组织系统
摘要
贝叶斯场论表示从观测数据学习函数的非参数贝叶斯方法。基于贝叶斯统计原理,特定的贝叶斯场论由结合两个模型来定义:似然模型,提供测量过程的概率描述;以及先验模型,提供从训练数据推广到非训练数据所需的信息。文中讨论的特定似然模型包括一般密度估计、高斯回归、聚类、分类,以及逆量子问题特有的模型。除问题典型的硬约束(如概率的归一化与正性)外,先验模型还必须体现特定任务中所有具体的、且常含糊的可用“先验”知识。文中讨论的非参数先验模型有高斯过程、高斯过程混合,以及非二次势。先验模型通过引入超参数而具有灵活性。特别地,文中详细讨论了高斯过程成分的均值函数与协方差算子的自适应。即便使用高斯过程构建块构造,贝叶斯场论通常也是非高斯的,因而必须数值求解。随着计算资源的增长,具有实际意义且可数值求解的非高斯贝叶斯场论类正在稳步扩大。那些计算过于繁重的模型可作为起点,借助例如变分技术构造更易求解的参数化方法。
引用
@article{arxiv.physics/9912005,
title = {Bayesian Field Theory: Nonparametric Approaches to Density Estimation, Regression, Classification, and Inverse Quantum Problems},
author = {J. C. Lemm},
journal= {arXiv preprint arXiv:physics/9912005},
year = {2007}
}
备注
200 pages, 99 figures, LateX; revised version