双向渐进变换器用于互动意图预测
计算机视觉与模式识别
2024-05-10 v1
摘要
互动意图预测旨在联合预测未来手部轨迹和互动热点。现有研究常将轨迹预测和互动热点预测视为独立任务，或仅考虑轨迹对互动热点的影响，导致随时间累积的预测误差。然而，手部轨迹与互动热点之间存在更深层的内在联系，这使得它们能够持续进行相互校正。基于这一关系，本文构建了一种新的双向渐进变换器（Bidirectional Progressive Transformer, BOT），将双向渐进机制引入互动意图预测。首先，BOT通过空间-时间重构模块最大化利用最后一次观察帧的空间信息，缓解来自一线视频视图变化所导致的冲突。随后，基于两个独立的预测分支，引入双向渐进增强模块，以最小化误差累积的方式在时间上相互提升手部轨迹和互动热点的预测。最后，鉴于人类自然行为的内在随机性，我们采用轨迹随机单元（Trajectory Stochastic Unit）和C-VAE，以适当地引入不确定性。我们的方法在三个基准数据集Epic-Kitchens-100、EGO4D和EGTEA Gaze+上实现了最先进的结果，在复杂场景中表现优异。
引用
@article{arxiv.2405.05552,
title = {Bidirectional Progressive Transformer for Interaction Intention Anticipation},
author = {Zichen Zhang and Hongchen Luo and Wei Zhai and Yang Cao and Yu Kang},
journal= {arXiv preprint arXiv:2405.05552},
year = {2024}
}