基于人体姿态驱动的物体特效推荐
计算机视觉与模式识别
2022-09-20 v1 人工智能
摘要
本文研究微视频平台中物体特效推荐这一新课题，其对广告插入等诸多实际应用而言是一项具挑战性却重要的任务。为避免直接从图像帧学习视频内容所引入的背景偏置问题，我们提出利用隐藏于三维人体姿态中的有意义肢体语言进行推荐。为此，本文引入一种新颖的由人体姿态驱动的物体特效推荐网络 PoseRec。PoseRec 借助三维人体姿态检测的优势，从多帧三维人体姿态中学习信息以进行视频-物品匹配，从而实现高质量的物体特效推荐性能。此外，为解决物体特效推荐中固有的模糊性与稀疏性问题，我们进一步提出一种新颖的物品感知隐式原型学习模块与一种新颖的姿态感知直推式难负样本挖掘模块，以更好地学习姿态-物品关系。再者，为对该新研究课题的方法进行基准评测，我们构建了名为 Pose-OBE 的物体特效推荐新数据集。在 Pose-OBE 上的大量实验表明，我们的方法优于强基线方法。
引用
@article{arxiv.2209.08353,
title = {Human Pose Driven Object Effects Recommendation},
author = {Zhaoxin Fan and Fengxin Li and Hongyan Liu and Jun He and Xiaoyong Du},
journal= {arXiv preprint arXiv:2209.08353},
year = {2022}
}