判别式关系主题模型
机器学习
2013-10-10 v1 信息检索
机器学习
摘要
许多科学和工程领域涉及网络数据分析。对于文档网络，关系主题模型 (RTMs) 提供了一种概率生成过程来描述链接结构和文档内容，并在预测网络结构和发现潜在主题表示方面显示出前景。然而，现有的 RTMs 在模型表达能力受限以及无法处理不平衡网络数据方面存在局限性。为了扩展 RTMs 的范围并提高推断精度，本文提出了三种扩展：1) 不同于仅允许同主题交互的对角权重矩阵的常见链接似然，我们将其推广为使用捕捉所有成对主题交互的全权重矩阵，适用于非对称网络；2) 我们不进行标准贝叶斯推断，而是执行带有正则化参数的正则化贝叶斯推断 (RegBayes)，以处理常见真实网络中的不平衡链接结构问题，并提高所学潜在表示的判别能力；3) 我们不进行具有严格平均场假设的变分近似，而是通过探索数据增强而不做限制性假设，为广义关系主题模型提出坍缩 Gibbs 采样算法。在通用 RegBayes 框架下，我们仔细研究了两种流行的判别损失函数，即逻辑对数损失和最大间隔铰链损失。在几个真实网络数据集上的实验结果证明了这些扩展对提高预测性能的重要性，并且通过一种简单的快速近似方法可以显著提高时间效率。
引用
@article{arxiv.1310.2409,
title = {Discriminative Relational Topic Models},
author = {Ning Chen and Jun Zhu and Fei Xia and Bo Zhang},
journal= {arXiv preprint arXiv:1310.2409},
year = {2013}
}