PHD-GIFs：面向自动 GIF 创建的个性化精彩片段检测
计算机视觉与模式识别
2018-08-08 v2 多媒体
摘要
精彩片段检测模型通常被训练以识别使视觉内容对公众具有吸引力或趣味性的线索，目标是将视频缩减为这些时刻。然而，视频片段或图像的“趣味性”是主观的。因此，此类精彩片段模型为个体用户提供的结果相关性有限。另一方面，为每个用户训练一个模型效率低下，且需要大量通常无法获取的个人信息。为克服这些局限性，我们提出了一种以每个特定用户的兴趣为条件的全局排序模型。我们并非为每个用户训练一个模型，而是通过其输入对模型进行个性化，这使得它仅需少量用户特定的示例即可有效地调整其预测。为训练该模型，我们创建了一个包含用户及其创建的 GIF 的大规模数据集，从而准确反映他们的兴趣。我们的实验表明，使用用户历史记录可大幅提高预测准确率。在我们的 850 个视频的测试集上，与通用精彩片段检测器相比，我们的模型将召回率提高了 8%。此外，即使仅有一个特定个人的示例，我们的方法也比与用户无关的基线方法更为精确。
引用
@article{arxiv.1804.06604,
title = {PHD-GIFs: Personalized Highlight Detection for Automatic GIF Creation},
author = {Ana García del Molino and Michael Gygli},
journal= {arXiv preprint arXiv:1804.06604},
year = {2018}
}
备注
Accepted for publication at the 2018 ACM Multimedia Conference (MM '18)