EAST：基于遮盖记token的早期动作预测抽样策略
计算机视觉与模式识别
2026-04-21 v1
摘要
早期动作预测旨在在动作完全展开前预判动作，但受限于视觉证据，此任务尤其具有挑战性。我们引入 EAST，一个简单且高效的框架，使模型能够推理不完整的观察。我们在经验研究中识别了训练早期动作预测模型的关键组件。我们的关键贡献是一种随机化训练策略，通过抽样分隔已观察与未观察的视频帧时间步，使单个模型能在测试时无缝适应所有观察比例。我们进一步表明，在已观察和未来（oracle）表征上进行联合学习可显著提升性能，甚至允许仅用编码器模型取得优异成绩。为提升可扩展性，我们提出了一种 token 遮盖程序，可将内存占用减半，训练速度提升 2 倍，且几乎不损失准确率。结合预测解码器，EAST 在 NTU60、SSv2 和 UCF101 上设得新纪录，分别超越前最佳成果提升 10.1、7.7 和 3.9 个百分点。
引用
@article{arxiv.2604.18367,
title = {EAST: Early Action Prediction Sampling Strategy with Token Masking},
author = {Iva Sović and Ivan Martinović and Marin Oršić},
journal= {arXiv preprint arXiv:2604.18367},
year = {2026}
}
备注
Accepted at ICLR 2026