基于填充的人类监督 3D 场景布局局部纠正
计算机视觉与模式识别
2025-08-01 v2
摘要
我们提出了一种新颖的人类在回环中的方法，用于从 egocentric 视角获取人类反馈来估计 3D 场景布局。我们通过引入一种新颖的局部纠正任务来研究此方法，其中用户识别局部错误并引导模型自动纠正。基于面向 3D 场景布局估计的 SceneScript 框架，该框架利用结构化语言，我们提出了将此问题结构化为“填充”(infilling)任务的解决方案，该任务在自然语言处理中被研究。我们训练了一个多任务版本的 SceneScript，既保持了对全局预测的性能，又显著提高了局部纠正能力。我们将其集成到人类在回环中的系统中，使用户能够通过低摩擦的“一键修复”工作流程迭代细化场景布局估计。我们的系统使最终细化后的布局能够偏离训练分布，从而更准确地建模复杂布局。
引用
@article{arxiv.2503.11806,
title = {Human-in-the-Loop Local Corrections of 3D Scene Layouts via Infilling},
author = {Christopher Xie and Armen Avetisyan and Henry Howard-Jenkins and Yawar Siddiqui and Julian Straub and Richard Newcombe and Vasileios Balntas and Jakob Engel},
journal= {arXiv preprint arXiv:2503.11806},
year = {2025}
}
备注
Project page: https://www.projectaria.com/scenescript/