深度多元 Probit 模型的端到端学习
机器学习
2018-07-16 v4 机器学习
摘要
多元 Probit 模型（MVP）是研究多实体二元响应的经典流行模型。然而，鉴于其似然函数涉及对潜变量的多维约束空间进行积分，学习 MVP 模型的计算挑战极大限制了其在实际中的应用。我们提出了一种对经典 MVP 的灵活深度泛化，即深度多元 Probit 模型（DMVP）。这是一种端到端学习方案，利用多元 Probit 模型的高效并行采样过程来发挥 GPU 加速深度神经网络的优势。我们对 DMVP 采样过程在相关结构分辨率下的收敛行为进行了理论与经验分析。我们为 DMVP 提供了收敛保证，且经验分析表明，与基于 MCMC 的标准方法相比，DMVP 的采样具有优势。我们还表明，当应用于多实体建模问题（这是 DMVP 的自然应用）时，DMVP 的训练速度比经典 MVP 至少快一个数量级，能够捕获实体间丰富的相关性，并且与多个竞争模型相比，进一步提高了实体的联合似然。
引用
@article{arxiv.1803.08591,
title = {End-to-End Learning for the Deep Multivariate Probit Model},
author = {Di Chen and Yexiang Xue and Carla P. Gomes},
journal= {arXiv preprint arXiv:1803.08591},
year = {2018}
}