用于弱监督动作定位的邻域间凸组合一致性
计算机视觉与模式识别
2024-05-06 v3
摘要
弱监督时间动作定位（WTAL）旨在仅利用弱监督（如视频级标签）检测动作实例。当前事实上的流程通过对时间类激活序列上连续高分区域进行阈值化与分组来定位动作实例。在此路径中，模型识别相邻片段之间关系的能力至关重要，其决定了动作边界的质量。然而，这容易出错，因为相邻片段间的变化通常细微，而不幸的是文献中忽视了这一点。为解决该问题，我们提出一种名为邻域间凸组合一致性（CBN）的新颖WTAL方法。CBN包含两个关键要素：一种通过相邻片段凸组合来增加相邻片段间多样性的微观数据增强策略，以及一种宏观-微观一致性正则化，强制模型对关于视频语义、片段预测与片段表示的变换保持不变。因此，相邻片段间的细粒度模式被强制探索，从而实现更鲁棒的动作边界定位。实验结果证明了CBN在各种基于视频级与点级监督的WTAL基线上均有效。代码见https://github.com/Qinying-Liu/C3BN。
引用
@article{arxiv.2205.00400,
title = {Convex Combination Consistency between Neighbors for Weakly-supervised Action Localization},
author = {Qinying Liu and Zilei Wang and Ruoxi Chen and Zhilin Li},
journal= {arXiv preprint arXiv:2205.00400},
year = {2024}
}
备注
ICME2023