使用单一惩罚项方法分析相关向量机

相关向量机(Relevance vector machine, RVM)是一种流行的稀疏贝叶斯学习模型，通常用于预测。最近研究表明，RVM中对多个惩罚参数假设的不恰当先验可能导致不恰当后验。当前文献中RVM后验恰当性的充分条件不允许对多个惩罚参数使用不恰当先验。在本文中，我们提出单一惩罚相关向量机(single penalty relevance vector machine, SPRVM)模型，其中多个惩罚参数被单一惩罚所替代，并考虑采用半贝叶斯方法来拟合SPRVM。SPRVM后验恰当性的充要条件比RVM更为宽松，并允许对惩罚参数使用若干不恰当先验。此外，我们还证明了用于分析SPRVM模型的Gibbs采样器的几何遍历性，从而可以估计与后验预测分布均值的蒙特卡洛估计相关的渐近标准误。这样的蒙特卡洛标准误在RVM中无法计算，因为用于分析RVM的Gibbs采样器的收敛速率未知。通过分析三个真实数据集比较了RVM与SPRVM的预测性能。