具有数据增强的 Gibbs 最大间隔主题模型

最大间隔学习是构建分类器和结构化输出预测器的强大方法。近期关于最大间隔监督主题模型的工作已成功将其与贝叶斯主题模型相结合，以发现判别性潜在语义结构并对未见测试数据做出准确预测。然而，由此产生的学习问题通常难以求解，因为间隔损失函数是非光滑的。现有的构建最大间隔监督主题模型的方法依赖于迭代过程来求解多个潜在 SVM 子问题，并对期望的后验分布附加平均场假设。本文通过定义一种新的最大间隔损失提出了一种替代方法。具体而言，我们提出了 Gibbs 最大间隔监督主题模型，这是一种用于发现各种任务（包括分类、回归和多任务学习）隐藏主题表示的潜在变量 Gibbs 分类器。Gibbs 最大间隔监督主题模型最小化期望间隔损失，这是从期望预测规则导出的现有间隔损失的上界。通过引入增强变量并利用共轭性解析地积分掉 Dirichlet 变量，我们开发了简单的 Gibbs 采样算法，无需限制性假设且无需求解 SVM 子问题。此外，“增强 - 坍缩”Gibbs 采样算法的每一步都具有解析条件分布，从中可以轻松抽取样本。实验结果表明时间效率显著提高。在二分类、多分类和多标签分类任务上，分类性能也显著优于竞争对手。