基于球面世界锁定的以音视频为导向的 egocentric 视频局部化

以 egocentric 视频形式提供的情境信息全面，涵盖多感官感知到行为交互。我们提出 Spherical World-Locking（SWL）作为一种通用的 egocentric 场景表示框架，通过对头部姿态测量的隐式变换来处理多感官流。与采用 2D 平面视野的常规头部锁定 egocentric 表示相比，SWL 有效抵消了自运动带来的挑战，实现了输入多模态之间的 improved 空间同步。使用基于球面世界锁定的多感官嵌入，我们设计了一种统一的编码器-解码器变换器架构，保留场景表示的球面结构，而无需进行昂贵的图像坐标与世界坐标之间的投影。我们在多个用于 egocentric 视频理解的基准任务上评估了所提框架的有效性，包括音视频主动说话人局部化、听觉球面源局部化以及日常活动中的行为预知。