使用双翼和谐模型挖掘关联文本与图像

我们提出了一种用于挖掘多媒体数据的多翼和谐模型，该模型扩展并改进了基于两层随机场的早期模型，这些模型捕获了隐藏主题方面和观测输入之间的双向依赖关系。该模型可以看作是用于类似任务的两层有向模型（如LDA）的无向对应物，但在推理/学习成本权衡、潜在主题表示和主题混合机制方面存在显著差异。特别是，我们的模型促进了高效的推理和稳健的主题混合，并在建模潜在主题空间方面提供了高度的灵活性。推导了对比散度和变分算法用于学习。我们将模型专门化为用于带标题图像的双翼和谐模型，结合了用于词计数的多元泊松分布和用于颜色直方图的多元高斯分布。我们展示了该模型在新闻视频集上的分类、检索和图像标注应用中的实证结果，并与各种现有模型进行了广泛比较。