基于用户历史学习的自适应视频精彩片段检测
计算机视觉与模式识别
2020-07-21 v1
摘要
近年来，精彩片段检测研究受到越来越多的关注，其目标是从较长的视频中提取有趣时刻以生成短时长视频。然而，大多数现有方法忽略了一个事实，即视频精彩片段的定义具有高度主观性。对于同一输入视频，不同用户可能具有不同的精彩片段偏好。在本文中，我们提出了一种简单而有效的框架，该框架通过利用用户先前创建的精彩片段形式的用户历史，学习使精彩片段检测适应用户。我们的框架由两个子网络组成：一个用于预测输入视频精彩片段的全时序卷积精彩片段检测网络 ，以及一个用于用户历史的历史编码器网络 。我们向 引入了一个新设计的时序自适应实例归一化（T-AIN）层，使两个子网络相互交互。T-AIN 具有由 基于用户历史预测的仿射参数，并负责向 传递用户自适应信号。在大规模数据集上的大量实验表明，我们的框架能够做出更准确且针对特定用户的精彩片段预测。
引用
@article{arxiv.2007.09598,
title = {Adaptive Video Highlight Detection by Learning from User History},
author = {Mrigank Rochan and Mahesh Kumar Krishna Reddy and Linwei Ye and Yang Wang},
journal= {arXiv preprint arXiv:2007.09598},
year = {2020}
}
备注
Accepted to ECCV 2020