PR-Net：面向个性化视频高光检测的偏好推理
计算机视觉与模式识别
2021-09-07 v1
摘要
个性化视频高光检测旨在根据用户的偏好将长视频缩短为有趣片段，近来引起了学界关注。现有方法将用户历史作为整体信息来预测用户偏好，却忽视了用户兴趣的内在多样性，导致偏好表示模糊。在本文中，我们提出一种简单而高效的偏好推理框架（PR-Net），显式地考虑多样兴趣以进行帧级高光预测。具体而言，生成针对每个输入查询帧的不同用户特定偏好，表示为历史高光相对于对应查询帧的相似度加权和。接下来，由用户特定偏好与可学习的通用偏好形成不同的综合偏好，以进行更整体的高光度量。最后，每个查询帧的高光与非高光程度分别计算为与其综合偏好和非高光偏好的语义相似度。此外，为缓解因标注不完整带来的歧义，提出一种新的双向对比损失以确保紧凑且可微的度量空间。由此，我们的方法以平均精度准确率相对提升 12% 显著优于最先进方法。
引用
@article{arxiv.2109.01799,
title = {PR-Net: Preference Reasoning for Personalized Video Highlight Detection},
author = {Runnan Chen and Penghao Zhou and Wenzhe Wang and Nenglun Chen and Pai Peng and Xing Sun and Wenping Wang},
journal= {arXiv preprint arXiv:2109.01799},
year = {2021}
}
备注
ICCV 2021