基于注意力机制预测未来动作序列：一种弱监督动作预测的新方法
计算机视觉与模式识别
2022-02-04 v3
摘要
从部分观测的活动对未来人类动作进行预测是辅助机器人、视频监控与安全等许多实际应用中的重要问题。我们提出一种利用编码器-解码器架构的神经机器翻译技术来预测视频未见未来的动作的方法。该模型的输入为观测到的RGB视频，目标是预测正确的未来符号化动作序列。与先前对视频未见的某一比例逐帧进行动作预测的方法不同，我们预测完成该活动所需的完整动作序列。我们将此任务称为动作序列预测。为应对未来预测中的两类不确定性，我们提出一种新颖的损失函数。我们表明最优传输与未来不确定性损失的组合有助于提升结果。我们将动作序列预测模型扩展至在两个具有挑战性的数据集Breakfast和50Salads上进行弱监督动作预测。具体而言，我们提出一种在训练时不使用帧级标注来预测未来未见帧动作的方法。使用Fisher向量特征，我们的监督模型在Breakfast和50Salads数据集上分别比最先进的动作预测模型高出0.83%和7.09%。我们的弱监督模型仅比最新的最先进监督模型低0.6%，并取得与其他已发表的全监督方法相当的结果，有时甚至在Breakfast数据集上超越它们。最有趣的是，我们的弱监督模型借助所提出的弱监督架构以及对注意力机制与损失函数的有效利用，比先前模型高出1.04%。
引用
@article{arxiv.1912.04608,
title = {Forecasting future action sequences with attention: a new approach to weakly supervised action forecasting},
author = {Yan Bin Ng and Basura Fernando},
journal= {arXiv preprint arXiv:1912.04608},
year = {2022}
}