Point-Bind 与 Point-LLM：将点云与多模态对齐以实现三维理解、生成与指令跟随
计算机视觉与模式识别
2023-09-04 v1 人工智能
计算与语言
机器学习
多媒体
摘要
我们提出 Point-Bind，一种将点点云与 2D 图像、语言、音频和视频对齐的 3D 多模态模型。在 ImageBind 的指导下，我们构建了 3D 与多模态之间的联合嵌入空间，实现了许多有前景的应用，例如任意到 3D 生成、3D 嵌入算术以及 3D 开放世界理解。在此基础上，我们进一步提出 Point-LLM，首个遵循 3D 多模态指令的 3D 大语言模型（LLM）。通过参数高效微调技术，Point-LLM 将 Point-Bind 的语义注入预训练 LLM（如 LLaMA）中，无需 3D 指令数据，却展现出卓越的 3D 与多模态问答能力。我们希望我们的工作能为社区将 3D 点云扩展至多模态应用带来启发。代码见 https://github.com/ZiyuGuo99/Point-Bind_Point-LLM。
引用
@article{arxiv.2309.00615,
title = {Point-Bind & Point-LLM: Aligning Point Cloud with Multi-modality for 3D Understanding, Generation, and Instruction Following},
author = {Ziyu Guo and Renrui Zhang and Xiangyang Zhu and Yiwen Tang and Xianzheng Ma and Jiaming Han and Kexin Chen and Peng Gao and Xianzhi Li and Hongsheng Li and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2309.00615},
year = {2023}
}
备注
Work in progress. Code is available at https://github.com/ZiyuGuo99/Point-Bind_Point-LLM