论 Gamma 过程边划分模型的模型收缩效应
机器学习
2017-09-27 v1
摘要
边划分模型（EPM）是一种基础的贝叶斯非参数模型，用于从二值矩阵中提取重叠结构。EPM 采用 Gamma 过程（P）先验以自动收缩活跃原子的数量。然而，我们经验性地发现 EPM 的模型收缩通常无法正常工作，并导致过拟合的解。对 EPM 强度函数期望的分析表明，EPM 超参数的 Gamma 先验干扰了内部 P 的模型收缩效应。为了确保 EPM 的模型收缩效应以适当的方式工作，我们提出了两种新颖的 EPM 生成式构造：结合受约束 Gamma 先验的 CEPM，以及用 Dirichlet 先验代替 Gamma 先验的 DEPM。此外，DEPM 的所有模型参数（包括 P 先验的无限原子）都可以被边缘化消除，因此可以推导出一个真正无限的 DEPM（IDEPM），并可以使用坍缩 Gibbs 采样器进行高效推断。我们通过实验证实了所提模型的模型收缩效应运作良好，并且 IDEPM 在泛化能力、链路预测精度、混合效率和收敛速度方面表现出最先进的性能。
引用
@article{arxiv.1709.08770,
title = {On the Model Shrinkage Effect of Gamma Process Edge Partition Models},
author = {Iku Ohama and Issei Sato and Takuya Kida and Hiroki Arimura},
journal= {arXiv preprint arXiv:1709.08770},
year = {2017}
}
备注
To appear in the 31st Annual Conference on Neural Information Processing Systems (NIPS2017)