LLaNA：大语言与神经辐射场助手
计算机视觉与模式识别
2024-11-25 v2
摘要
多模态大语言模型（MLLM）已显示出对图像和 3D 数据的优秀理解能力。然而，这两种模态在全面捕获物体的外观和几何信息方面存在不足。与此同时，神经辐射场（NeRF）作为一种编码简单多层感知机（MLP）权重中的信息的模态，日益流行，能够同时编码物体的几何和照片级外观。本文研究将 NeRF 纳入 MLLM 是一种可能且有效的方法。我们创建了 LLaNA，首个通用 NeRF 语言助手，能够执行新任务，如 NeRF 描述和 Q&A。值得注意的是，我们的方法直接处理 NeRF MLP 的权重来提取所表示物体的信息，无需渲染图像或实例化 3D 数据结构。此外，我们构建了一个用于各种 NeRF 语言任务的带文本注释数据集，无需人工干预。基于该数据集，我们开发了一个基准来评估我们方法的 NeRF 理解能力。结果表明，处理 NeRF 权重的性能优于从 NeRF 中提取 2D 或 3D 表示。
引用
@article{arxiv.2406.11840,
title = {LLaNA: Large Language and NeRF Assistant},
author = {Andrea Amaduzzi and Pierluigi Zama Ramirez and Giuseppe Lisanti and Samuele Salti and Luigi Di Stefano},
journal= {arXiv preprint arXiv:2406.11840},
year = {2024}
}
备注
Under review. Project page: https://andreamaduzzi.github.io/llana/