面向随机长期稠密预测的门控时序扩散
计算机视觉与模式识别
2024-07-17 v1
摘要
长期动作预测已成为诸多应用（如自动驾驶和人机交互）的重要任务。与短期预测不同，预测更多动作到未来会带来挑战，因为更长的时段不确定性更大。尽管已有显著进展用于预测更长期的动作，但大多数方法采用确定性设置，忽略了潜在的不确定性。本文提出一种新型门控时序扩散（Gated Temporal Diffusion, GTD）网络，建模观察值与未来预测的不确定性。作为生成器，我们引入门控预测网络（Gated Anticipation Network, GTAN），在相互表示中同时建模观察帧与未观察帧。在一方面，使用相互表示可联合建模观察与未来模糊性；另一方面，GTAN 可设计性地处理观察部分与未观察部分，并引导信息在两者之间流动。我们的模型在Breakfast、Assembly101和50Salads数据集上在随机与确定性设置下均取得最先进的成绩。代码：https://github.com/olga-zats/GTDA
引用
@article{arxiv.2407.11954,
title = {Gated Temporal Diffusion for Stochastic Long-Term Dense Anticipation},
author = {Olga Zatsarynna and Emad Bahrami and Yazan Abu Farha and Gianpiero Francesca and Juergen Gall},
journal= {arXiv preprint arXiv:2407.11954},
year = {2024}
}
备注
Accepted to ECCV 2024