具有多样性诱导互角度正则化的潜变量建模
机器学习
2015-12-24 v1 机器学习
摘要
潜变量模型(LVMs)是一类庞大的机器学习模型，为从观测数据中提取潜在模式、结构和知识提供了有原则且有效的方法。由于数据量和复杂性的急剧增长，出现了若干现有LVMs无法有效应对的新挑战：(1) 当模式的流行度呈幂律分布时，如何捕获携带关键信息的长尾模式？(2) 如何在不损害LVMs建模能力的前提下降低模型复杂度和计算成本？(3) 如何提高已发现模式的可解释性并减少冗余？为应对上述三个挑战，我们为LVMs开发了一种新颖的正则化技术，其在学习过程中控制潜空间的几何结构，使学习到的LVM潜分量具有多样性，即彼此倾向于互不相同，从而实现长尾覆盖、低冗余和更好的可解释性。我们提出一种互角度正则化器(MAR)以鼓励LVMs中的分量具有更大的互角度。MAR非凸且非光滑，给优化带来巨大挑战。为此，我们推导了MAR的光滑下界并转而优化该下界。我们证明该下界的单调性与MAR紧密一致，使下界成为MAR的理想替代。以神经网络(NN)为例，我们分析了MAR如何影响NN的泛化性能。在两个流行的潜变量模型——受限玻尔兹曼机和距离度量学习上，我们证明了MAR能有效捕获长尾模式、在不牺牲表达力的前提下降低模型复杂度并改善可解释性。
引用
@article{arxiv.1512.07336,
title = {Latent Variable Modeling with Diversity-Inducing Mutual Angular Regularization},
author = {Pengtao Xie and Yuntian Deng and Eric Xing},
journal= {arXiv preprint arXiv:1512.07336},
year = {2015}
}