通过联合建模社交影响与标签关系进行微视频标注
多媒体
2023-03-16 v1 计算机视觉与模式识别
摘要
过去十年见证了各类用户生成内容平台上微视频的激增。根据我们的统计，约 85.7% 的微视频缺乏标注。本文关注用标签标注微视频。现有方法多聚焦于分析视频内容，忽视了用户的社交影响和标签关系。同时，现有的标签关系构建方法存在性能不足或标签覆盖率低的问题。为联合建模社交影响和标签关系，我们将微视频标注表述为所构建异质网络中的链接预测问题。具体而言，标签关系（由标签本体表示）以半监督方式构建。然后，我们结合标签关系、视频-标签标注和用户关注关系来构建网络。随后，通过行为传播建模以及视觉与语言知识聚合推导出更好的视频和标签表示。最后，在该视频-标签网络中计算各微视频与所有候选标签的语义相似度。在三个垂直领域的工业数据集上的大量实验验证了我们的模型优于多个最先进的基线。
引用
@article{arxiv.2303.08318,
title = {Micro-video Tagging via Jointly Modeling Social Influence and Tag Relation},
author = {Xiao Wang and Tian Gan and Yinwei Wei and Jianlong Wu and Dai Meng and Liqiang Nie},
journal= {arXiv preprint arXiv:2303.08318},
year = {2023}
}
备注
Accepted by Proceedings of the 30th ACM International Conference on Multimedia (2022)