基于局部随机访问序列建模的 3D 场景理解
计算机视觉与模式识别
2025-04-08 v1
摘要
从单张图像进行 3D 场景理解是计算机视觉中的关键问题，广泛应用于图形、增强现实和机器人等下游应用。虽然扩散建模方法显示出前景，但在复杂真实场景中往往难以维持物体和场景一致性。为此，我们提出一种自回归生成方法，称为局部随机访问序列（Local Random Access Sequence, LRAS）建模，它使用局部图像块量化和随机有序序列生成。通过将光流作为 3D 场景编辑的中间表示，我们的实验表明，LRAS 在新视角合成和 3D 物体操控方面实现了最新的性能。此外，我们展示了该框架通过简单修改序列设计，自然扩展到自监督深度估计。通过在多个 3D 场景理解任务上取得强性能，LRAS 为构建下一代 3D 视觉模型提供了统一且有效的框架。
引用
@article{arxiv.2504.03875,
title = {3D Scene Understanding Through Local Random Access Sequence Modeling},
author = {Wanhee Lee and Klemen Kotar and Rahul Mysore Venkatesh and Jared Watrous and Honglin Chen and Khai Loong Aw and Daniel L. K. Yamins},
journal= {arXiv preprint arXiv:2504.03875},
year = {2025}
}
备注
Project webpage: https://neuroailab.github.io/projects/lras_3d/