使用语义关联图提取时间同步视频标签
信息检索
2019-07-05 v1 多媒体
摘要
时间同步评论揭示了提取在线视频标签的一种新方式。然而，由于用户评论的多样性，此类时间同步评论包含大量噪声，给准确快速的视频标签提取带来了巨大挑战。在本文中，我们提出了一种名为语义权重-逆文档频率 (SW-IDF) 的无监督视频标签提取算法。具体而言，我们首先利用时间同步评论的语义相似性和时间戳生成相应的语义关联图 (SAG)。其次，我们提出了两种图聚类算法，即基于对话的算法和基于主题中心的算法，以处理具有不同评论密度的视频。第三，我们设计了一种图迭代算法，基于聚类子图的度为每条评论分配权重，从而将有意义评论与噪声区分开来。最后，我们通过结合语义权重 (SW) 和逆文档频率 (IDF) 来获得每个词的权重。通过这种方式，视频标签以无监督的方式被自动提取。大量实验表明，SW-IDF（基于对话的算法）在高密度评论中取得了 0.4210 的 F1 分数和 0.4932 的 MAP（平均精度均值），在低密度评论中取得了 0.4267 的 F1 分数和 0.3623 的 MAP；而 SW-IDF（基于主题中心的算法）在高密度评论中取得了 0.4444 的 F1 分数和 0.5122 的 MAP，在低密度评论中取得了 0.4207 的 F1 分数和 0.3522 的 MAP。在 F1 分数和 MAP 上，它均优于最先进的无监督算法。
引用
@article{arxiv.1905.01053,
title = {Time-sync Video Tag Extraction Using Semantic Association Graph},
author = {Wenmian Yang and Kun Wang and Na Ruan and Wenyuan Gao and Weijia Jia and Wei Zhao and Nan Liu and Yunyong Zhang},
journal= {arXiv preprint arXiv:1905.01053},
year = {2019}
}
备注
Accepted by ACM TKDD 2019