GARField：利用辐射场对任意对象进行分组
计算机视觉与模式识别
2024-01-18 v1 图形学
摘要
由于场景分解存在多个粒度层级，分组本质上具有歧义性——例如，挖掘机的车轮应被视为独立个体还是整体的一部分？我们提出了 GARField（Group Anything with Radiance Fields），这是一种从带位姿的图像输入中将 3D 场景分解为具有语义意义的层级化分组的方法。为此，我们通过物理尺度来接纳分组歧义：通过优化一个尺度条件的 3D 亲和特征场，世界中的某一点可以属于不同大小的不同组。我们利用 Segment Anything (SAM) 提供的一组 2D 掩码来优化该场，同时尊重从粗到细的层级结构，并利用尺度一致地融合来自不同视角的冲突掩码。基于该场，我们可以通过自动树构建或用户交互导出一系列可能的分组层级。我们在多种野外场景中对 GARField 进行了评估，发现它能有效地提取多个层级的分组：对象簇、对象以及各种子部件。GARField 本质上表示了多视图一致的分组，并生成了比输入 SAM 掩码保真度更高的分组。GARField 的层级化分组具有令人兴奋的下行应用潜力，如 3D 资产提取或动态场景理解。项目网站见 https://www.garfield.studio/
引用
@article{arxiv.2401.09419,
title = {GARField: Group Anything with Radiance Fields},
author = {Chung Min Kim and Mingxuan Wu and Justin Kerr and Ken Goldberg and Matthew Tancik and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2401.09419},
year = {2024}
}
备注
Project site: https://www.garfield.studio/ First three authors contributed equally