中文

基于槽位引导的特征提升:SlotLifter 用于学习对象中心辐射场

计算机视觉与模式识别 2024-08-14 v1 人工智能 机器学习 机器人学

摘要

从复杂视觉场景中提炼对象中心抽象能力是人类级泛化的关键。尽管对象中心学习方法已取得显著进展,但在 3D 物理世界中学习对象中心表示仍是关键挑战。本文提出 SlotLifter,一种新型对象中心辐射模型,通过槽位引导的特征提升联合解决场景重建和分解问题。该设计将对象中心学习表示与图像基渲染方法结合,在四个具有挑战性的合成数据集和四个复杂的真实世界数据集上实现了场景分解和新视角合成的领先性能,超越现有 3D 对象中心学习方法。通过大量消融研究,我们展示了 SlotLifter 设计的有效性,揭示了潜在未来方向的关键洞见。

关键词

引用

@article{arxiv.2408.06697,
  title  = {SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields},
  author = {Yu Liu and Baoxiong Jia and Yixin Chen and Siyuan Huang},
  journal= {arXiv preprint arXiv:2408.06697},
  year   = {2024}
}

备注

Accepted by ECCV 2024. Project website: https://slotlifter.github.io