基于 Sharma-Mittal 散度的广义 Twin Gaussian Processes
机器学习
2015-06-02 v5 计算机视觉与模式识别
机器学习
摘要
由于互信息度量在机器学习和计算机视觉中的广泛应用，其受到的关注日益增长。本文提出了一种基于 Sharma-Mittal 散度的广义结构化回归框架，这是一种相对熵度量，并在本工作中首次引入机器学习社区。Sharma-Mittal (SM) 散度是广泛使用的 R\'enyi、Tsallis、Bhattacharyya 和 Kullback-Leibler (KL) 相对熵的广义互信息度量。具体而言，我们在 Twin Gaussian Processes (TGP)~\citep{Bo:2010} 的背景下研究将 Sharma-Mittal 散度作为代价函数，该方法在不增加计算代价的情况下推广了 KL 散度。我们通过理论分析展示了 Sharma-Mittal TGP (SMTGP) 的有趣性质，弥补了传统 TGP 公式中缺失的见解。然而，我们将该理论基于 SM 散度而非作为特例的 KL 散度进行了推广。在实验方面，我们在多个数据集上评估了所提出的 SMTGP 框架。结果表明，SMTGP 比基于 KL 的 TGP 具有更好的预测能力，因为它通过我们从数据中学习到的参数提供了更大类的模型。
引用
@article{arxiv.1409.7480,
title = {Generalized Twin Gaussian Processes using Sharma-Mittal Divergence},
author = {Mohamed Elhoseiny and Ahmed Elgammal},
journal= {arXiv preprint arXiv:1409.7480},
year = {2015}
}
备注
This work got accepted for Publication in the Machine Learning Journal 2015. The work is scheduled for presentation at ECML-PKDD 2015 journal track papers