增强单帧监督以改进时间动作定位
人机交互
2023-12-11 v1
摘要
时间动作定位旨在识别视频中动作的边界和类别，例如足球比赛中进球。单帧监督已成为训练动作定位器的一种省力方式，因为它每个动作只需要一个标注帧。然而，由于缺乏精确的边界标注，其性能往往较差。为了解决这个问题，我们提出了一种视觉分析方法，该方法对齐相似动作，然后通过生成的对应关系将少量用户提供的标注（例如边界、类别标签）传播到相似动作。我们的方法将动作之间的对齐建模为最重路径问题，将标注传播建模为二次优化问题。由于自动生成的对应关系可能无法准确匹配相关动作，并可能产生不准确的定位结果，我们开发了一种故事线可视化来解释动作的定位结果及其对应关系。这种可视化有助于用户纠正错误的定位结果和错误对齐。然后使用这些纠正来改进其他动作的定位结果。通过定量评估和案例研究证明了我们的方法在提高定位性能方面的有效性。
引用
@article{arxiv.2312.05178,
title = {Enhancing Single-Frame Supervision for Better Temporal Action Localization},
author = {Changjian Chen and Jiashu Chen and Weikai Yang and Haoze Wang and Johannes Knittel and Xibin Zhao and Steffen Koch and Thomas Ertl and Shixia Liu},
journal= {arXiv preprint arXiv:2312.05178},
year = {2023}
}