ViewBirdiformer：从单一自我中心视角学习恢复地面平面人群轨迹与自运动
计算机视觉与模式识别
2022-10-13 v1
摘要
我们提出一种基于学习的视图鸟瞰化（view birdification）新方法，该任务仅从观测到的自我中心视频中恢复人群中行人及其观察者在地面平面上的轨迹。在密集人群中，静态背景难以看见和可靠跟踪，视图鸟瞰化对于移动机器人导航与定位变得至关重要。它具挑战性主要有两个原因：i) 行人的绝对轨迹与观察者的运动纠缠在一起，需要从自我中心视频中观测到的相对运动中解耦；ii) 描述行人运动交互的人群运动模型是场景特定的且事先未知。为此，我们引入一个称为 ViewBirdiformer 的基于 Transformer 的网络，其通过自注意力隐式建模人群运动，并通过视图间的交叉注意力将相对 2D 运动观测分解到人群与相机的地面平面轨迹上。最重要的是，ViewBirdiformer 在单次前向传播中完成视图鸟瞰化，这为准确的实时、常开态势感知打开了大门。大量实验结果表明，ViewBirdiformer 取得了与最先进方法相似或更好的精度，同时将执行时间减少了三个数量级。
引用
@article{arxiv.2210.06332,
title = {ViewBirdiformer: Learning to recover ground-plane crowd trajectories and ego-motion from a single ego-centric view},
author = {Mai Nishimura and Shohei Nobuhara and Ko Nishino},
journal= {arXiv preprint arXiv:2210.06332},
year = {2022}
}