基于Q-指数过程的贝叶斯学习

正则化是优化、统计与机器学习中最基础的课题之一。为在估计参数 $u\in\mathbb{R}^d$ 时获得稀疏性，通常在目标函数中加入 $\ell_q$ 惩罚项 $\Vert u\Vert_q$。对应于该 $\ell_q$ 惩罚的概率分布是什么？当我们对函数 $u\in L^q$ 建模时，对应于 $\Vert u\Vert_q$ 的正确随机过程是什么？这对于以惩罚来保持确定性性质（如图像中的边缘）的统计建模高维对象（例如图像）十分重要。本工作中，我们将 $q$-指数分布（密度正比于）$\exp{(- \frac{1}{2}|u|^q)}$ 推广至名为 $Q$-指数过程（Q-EP）的随机过程，其对应于函数的 $L_q$ 正则化。关键步骤是从一大类椭圆等高分布中选择，以指定一致的多元 $q$-指数分布。该工作与通常由展开级数定义的 Besov 过程密切相关。Q-EP 可视为具有显式概率公式并可直接控制相关长度的 Besov 过程定义。从贝叶斯视角，Q-EP 为函数提供了比常用高斯过程（GP）惩罚更尖锐（$q<2$）的灵活先验。我们在函数数据建模、图像重建与求解反问题中比较 GP、Besov 与 Q-EP，并展示了我们所提方法的优势。