用于单帧监督时序动作定位的膨胀-腐蚀方法
计算机视觉与模式识别
2022-12-14 v1
摘要
为平衡标注成本与监督粒度，时序动作定位中引入了单帧标注。它提供了动作的粗略时间位置，但在训练时隐式夸大了来自标注帧的监督，导致动作与背景的混淆，即动作不完整与背景误检。为应对这两个挑战，本文提出片段分类模型与膨胀-腐蚀模块。在膨胀-腐蚀模块中，我们以宽松准则扩展潜在动作片段以缓解动作不完整问题，随后从潜在动作片段中去除背景以缓解背景误检问题。依托单帧标注与片段分类的输出，膨胀-腐蚀模块挖掘伪片段级真值、困难背景与明显背景，进而进一步训练片段分类模型。这形成了一种循环依赖。此外，我们提出一种新的嵌入损失，以聚合相同标签的动作实例特征并将动作特征与背景特征分离。在 THUMOS14 与 ActivityNet 1.2 上的实验验证了所提方法的有效性。代码已公开 (https://github.com/LingJun123/single-frame-TAL)。
引用
@article{arxiv.2212.06348,
title = {Dilation-Erosion for Single-Frame Supervised Temporal Action Localization},
author = {Bin Wang and Yan Song and Fanming Wang and Yang Zhao and Xiangbo Shu and Yan Rui},
journal= {arXiv preprint arXiv:2212.06348},
year = {2022}
}
备注
28 pages, 8 figures