通过以自我为中心的局部观测帧追踪相同物体以增强AR游戏中的物理-虚拟交互
人机交互
2026-02-06 v2 机器人学
摘要
增强现实（AR）游戏，特别是为头戴式显示器设计的游戏，变得越来越普遍。然而，大多数现有系统依赖于预先扫描的静态环境，并严重依赖连续追踪或基于标记的解决方案，这限制了在动态物理空间中的适应性。这对于AR头显和眼镜来说尤其成问题，因为它们通常跟随用户的头部运动，无法保持固定的、静止的场景视角。此外，考虑到可穿戴设备有限的电池和处理能力，持续观察场景既不节能也不切实际。当环境中存在多个相同的物体时，会出现一个持续的挑战——标准物体追踪管道在没有不间断观察或外部传感器的情况下，通常无法保持一致的身份。这些限制阻碍了流畅的物理-虚拟交互，特别是在无法进行连续追踪的动态或遮挡场景中。为了解决这个问题，我们引入了一种新颖的基于优化的框架，仅使用头显捕获的一个局部以自我为中心的观测帧来重新识别AR场景中的相同物体。我们将该问题表述为通过整数规划求解的标签分配任务，并辅以基于Voronoi图的剪枝策略以提高计算效率。该方法在模拟实验中将计算时间减少了50%，同时保持了91%的准确率。此外，我们在定量合成和定量真实世界实验中评估了我们的方法。我们还进行了三次定性真实世界实验，以证明其在AR环境中实现动态、无标记物体交互的实用性和泛化能力。我们的视频演示可在 https://youtu.be/RwptEfLtW1U 获取。
引用
@article{arxiv.2502.17399,
title = {Enriching physical-virtual interaction in AR gaming by tracking identical objects via an egocentric partial observation frame},
author = {Liuchuan Yu and Ching-I Huang and Hsueh-Cheng Wang and Lap-Fai Yu},
journal= {arXiv preprint arXiv:2502.17399},
year = {2026}
}