基于损失函数的二阶Jensen不等式及其在粒子变分推断中的应用
机器学习
2021-06-11 v2 机器学习
摘要
贝叶斯模型平均通过 posterior 分布对似然函数取期望获得，已广泛用于预测、不确定性评估与模型选择。已开发多种方法以有效捕获后验分布中的信息；其中一种方法是同时优化一组具有交互的模型，以确保各个模型的多样性，方式与集成学习相同。一种代表性方法是粒子变分推断（PVI），其使用模型集成作为后验分布的经验近似。PVI通过排斥力迭代更新每个模型以确保优化模型的多样性。然而，尽管其性能 promising，关于此排斥力及其与泛化能力的关联的理论理解仍不清楚。本文中，我们从PAC-Bayesian分析的角度解决此问题。首先，我们提供一种新的二阶Jensen不等式，其具有基于损失函数的排斥项。得益于排斥项，它比标准Jensen不等式更紧。然后，我们推导出一种新颖的泛化误差界，并表明可通过增强模型多样性来减小它。最后，我们推导出一种直接优化该泛化误差界的新PVI。数值实验表明，所提PVI的性能在实验中优于现有方法。
引用
@article{arxiv.2106.05010,
title = {Loss function based second-order Jensen inequality and its application to particle variational inference},
author = {Futoshi Futami and Tomoharu Iwata and Naonori Ueda and Issei Sato and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2106.05010},
year = {2021}
}