一种子模-超模过程及其在判别性结构学习中的应用
机器学习
2012-07-09 v1 数据结构与算法
机器学习
摘要
在本文中，我们提出了一种基于（扩展的）凹凸过程[17]的变分框架来最小化两个子模函数之差的算法。由于机器学习中几种常用的度量（如互信息和条件互信息）是子模的，最小化两个子模问题之差自然出现在许多机器学习应用中。两个这样的应用是学习判别性结构图模型和在计算复杂度约束下的特征选择。衡量判别能力的常用度量是EAR度量，它是两个条件互信息项之差。考虑复杂度的特征选择也属于这一框架，因为一组特征提供的信息以及计算和使用特征的成本都可以建模为子模函数。该问题是NP难的，我们给出了一个多项式时间启发式算法。我们还展示了在合成数据上的结果，表明基于使用该算法的判别性图模型的分类器可以显著优于基于生成性图模型的分类器。
引用
@article{arxiv.1207.1404,
title = {A submodular-supermodular procedure with applications to discriminative structure learning},
author = {Mukund Narasimhan and Jeff A. Bilmes},
journal= {arXiv preprint arXiv:1207.1404},
year = {2012}
}
备注
Appears in Proceedings of the Twenty-First Conference on Uncertainty in Artificial Intelligence (UAI2005)