基于局部-全局背景建模的弱监督时序动作定位
计算机视觉与模式识别
2021-06-23 v1
摘要
弱监督时序动作定位（WS-TAL）任务旨在仅利用视频级标签监督，在未剪辑视频中识别并定位动作实例的时间起止点。由于缺乏背景类别的负样本，网络难以区分前景与背景，导致检测性能不佳。在本报告中，我们提出了基于 BaSNet 的 2021 HACS 挑战赛弱监督学习赛道解决方案以解决上述问题。具体而言，我们首先采用预训练的 CSN、Slowfast、TDN 和 ViViT 作为特征提取器获取特征序列。随后，我们提出的局部-全局背景建模网络（LGBM-Net）基于多示例学习（MIL），仅使用视频级标签进行训练以定位实例。最后，我们对多个模型进行集成得到最终检测结果，并在测试集上达到 22.45% 的 mAP。
引用
@article{arxiv.2106.11811,
title = {Weakly-Supervised Temporal Action Localization Through Local-Global Background Modeling},
author = {Xiang Wang and Zhiwu Qing and Ziyuan Huang and Yutong Feng and Shiwei Zhang and Jianwen Jiang and Mingqian Tang and Yuanjie Shao and Nong Sang},
journal= {arXiv preprint arXiv:2106.11811},
year = {2021}
}
备注
CVPR-2021 HACS Challenge - Weakly-supervised Learning Track champion solution (1st Place)