弱监督密集动作预测
计算机视觉与模式识别
2021-11-16 v1
摘要
密集预测旨在对长时间范围内的未来动作及其持续时间进行预测。现有方法依赖于全标注数据，即标注了所有未来动作及其持续时间的序列。我们提出了一种（半）弱监督方法，仅使用少量全标注序列，以及主要以仅标注（一个）即将发生动作为主的序列。为此，我们提出了一个框架，该框架为未来动作及其持续时间生成伪标签，并通过一个细化模块自适应地优化它们。仅以即将发生的动作标签作为输入，这些伪标签引导对未来动作/持续时间的预测。我们进一步设计了一种注意力机制来预测上下文感知的持续时间。在 Breakfast 和 50Salads 基准上的实验验证了我们方法的有效性；即使与全监督最先进模型相比，我们也具有竞争力。我们的代码将发布于：https://github.com/zhanghaotong1/WSLVideoDenseAnticipation。
引用
@article{arxiv.2111.07593,
title = {Weakly-Supervised Dense Action Anticipation},
author = {Haotong Zhang and Fuhai Chen and Angela Yao},
journal= {arXiv preprint arXiv:2111.07593},
year = {2021}
}
备注
BMVC 2021