基于特征自注意力的人体动作预测
计算机视觉与模式识别
2021-07-20 v1
摘要
我们提出一种从视频进行人体动作预测的新架构。时间循环编码器捕获输入视频的时间信息，而自注意力模型用于关注输入空间的相关特征维度。为处理观测视频数据中的时间变化，采用了特征掩码技术。我们使用一个辅助分类器准确分类已观测动作，其有助于理解迄今已发生之事。随后解码器基于循环编码器与自注意力模型的输出生成未来动作。在实验上，我们验证了架构的各组件，观察到自注意力对识别相关特征维度、时间掩码及已观测辅助分类器的影响。我们在两个标准动作预测基准上评估了我们的方法，并取得了最先进（SOTA）结果。
引用
@article{arxiv.2107.08579,
title = {Action Forecasting with Feature-wise Self-Attention},
author = {Yan Bin Ng and Basura Fernando},
journal= {arXiv preprint arXiv:2107.08579},
year = {2021}
}