你能否走红？学习预测舞蹈短视频的病毒式传播性
计算机视觉与模式识别
2021-11-09 v1 多媒体
摘要
如今，诸如 TikTok 等视频社区中舞蹈挑战正呈病毒式传播。一旦某项挑战走红，仅短短数日内就会有数千条短视频被上传。因此，基于舞蹈挑战的病毒式传播预测具有巨大的商业价值与广泛的应用前景，例如智能推荐与热度推广。本文提出一种新颖的多模态框架，融合骨骼、整体外观、面部与场景线索，用于全面的舞蹈病毒式传播预测。为建模身体动作，我们提出金字塔骨架图卷积网络（PSGCN），分层细化时空骨架图。同时，我们引入关系时序卷积网络（RTCN），以利用具有非局部时间关系的外观动态。最后提出一种注意力融合方法，自适应聚合来自不同模态的预测。为验证我们的方法，我们引入一个大规模病毒式舞蹈视频（VDV）数据集，包含八项病毒式舞蹈挑战的逾 4000 条舞蹈片段。在 VDV 数据集上的大量实验证明了我们模型的有效性。在 VDV 数据集上的大量实验很好地展示了我们方法的有效性。此外，我们展示了诸如多维推荐与动作反馈等短视频应用可由我们的模型衍生。
引用
@article{arxiv.2111.03819,
title = {Will You Ever Become Popular? Learning to Predict Virality of Dance Clips},
author = {Jiahao Wang and Yunhong Wang and Nina Weng and Tianrui Chai and Annan Li and Faxi Zhang and Sansi Yu},
journal= {arXiv preprint arXiv:2111.03819},
year = {2021}
}
备注
Accepted by TOMM