N2F2：基于嵌套神经特征场的层次化场景理解
计算机视觉与模式识别
2024-07-30 v2 人工智能
图形学
机器学习
摘要
在多个抽象层次上理解复杂场景仍然是计算机视觉中的一项艰巨挑战。为了解决这个问题，我们引入了嵌套神经特征场（N2F2），这是一种采用层次化监督来学习单一特征场的新方法，其中同一高维特征内的不同维度以不同的粒度编码场景属性。我们的方法允许灵活定义层次结构，可根据物理维度或语义或两者进行定制，从而实现对场景的全面而细致的理解。我们利用 2D 类别无关分割模型在图像空间中提供任意尺度的语义有意义的像素分组，并查询 CLIP 视觉编码器以获得每个片段的语言对齐嵌入。然后，我们提出的层次化监督方法将特征场的不同嵌套维度分配，在变化的物理尺度下使用延迟体积渲染来蒸馏 CLIP 嵌入，从而创建由粗到细的表示。大量实验表明，我们的方法在开放词汇 3D 分割和定位等任务上优于 SOTA 特征场蒸馏方法，证明了所学习的嵌套特征场的有效性。
引用
@article{arxiv.2403.10997,
title = {N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields},
author = {Yash Bhalgat and Iro Laina and João F. Henriques and Andrew Zisserman and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2403.10997},
year = {2024}
}
备注
ECCV 2024