用于弱监督时序动作定位的深度运动先验
核理论
2022-02-16 v1 高能天体物理现象
高能物理 - 实验
高能物理 - 唯象学
摘要
弱监督时序动作定位（WSTAL）旨在仅利用视频级标签在未裁剪视频中定位动作。当前多数最先进的 WSTAL 方法遵循多示例学习（MIL）流程：先产生片段级预测，再聚合为视频级预测。然而，我们认为现有方法忽视了两个重要缺陷：1）运动信息利用不足；2）主流交叉熵训练损失的不兼容性。本文中，我们分析得出光流特征背后的运动线索具有互补的信息性。受此启发，我们提出构建一种上下文相关的运动先验，称为运动性（motionness）。具体而言，引入运动图以基于局部运动载体（如光流）对运动性建模。此外，为突出更具信息性的视频片段，提出一种运动引导损失，以基于运动性分数调节网络训练。大量消融实验证实运动性有效地对感兴趣动作建模，且运动引导损失带来更准确的结果。此外，我们的运动引导损失是一种即插即用的损失函数，可应用于现有 WSTAL 方法。在不失一般性的前提下，基于标准 MIL 流程，我们的方法在三个具挑战性的基准（包括 THUMOS'14、ActivityNet v1.2 与 v1.3）上取得了新的最优性能。
引用
@article{arxiv.2108.05606,
title = {Strange Baryons in Nuclei and Neutron Stars},
author = {Laura Tolos},
journal= {arXiv preprint arXiv:2108.05606},
year = {2022}
}
备注
4 pages, contribution to the proceedings for the 19th International Conference on Strangeness in Quark Matter (SQM 2021), online 17-22 May 2021 (Submission to EPJ)