基于与或图表示的联合图像-文本新闻话题检测与跟踪
信息检索
2015-12-16 v1 计算与语言
社会与信息网络
摘要
在本文中，我们旨在开发一种自动检测与跟踪广播新闻中话题的方法。我们提出一种层次化与或图（AOG）来联合表示文本与视觉的潜在结构。AOG 嵌入了一种上下文敏感语法，能够通过关于涉及人物、相关地点及发生事件的语义元素描述新闻话题的层次组合，并建模层次中元素间的上下文关系。我们通过一个聚类采样过程检测新闻话题，该过程将关于密切相关事件的故事分组。采用一种有效的聚类采样算法 Swendsen-Wang Cuts (SWC) 遍历解空间并通过最大化贝叶斯后验概率获得最优聚类解。跟踪话题以应对持续更新的新闻流。我们生成话题轨迹以展示话题如何随时间出现、演变和消失。实验结果表明，我们的方法能够明确描述新闻视频中的文本与视觉数据，并产生有意义的话题轨迹。与最先进的方法在公开数据集 Reuters-21578 和自收集数据集 UCLA Broadcast News Dataset 上相比，我们的方法取得了优越性能。
引用
@article{arxiv.1512.04701,
title = {Joint Image-Text News Topic Detection and Tracking with And-Or Graph Representation},
author = {Weixin Li and Jungseock Joo and Hang Qi and Song-Chun Zhu},
journal= {arXiv preprint arXiv:1512.04701},
year = {2015}
}