InstructP2P：学习根据文本指令编辑三维点云
计算机视觉与模式识别
2023-06-13 v1
摘要
增强 AI 系统以遵循人类指令执行任务可显著提升生产力。本文提出 InstructP2P，一种端到端的基于高层文本指令的点云三维形状编辑框架。InstructP2P 通过协同文本条件点云扩散模型 Point-E 与强大语言模型的优势，扩展了现有方法的能力，实现利用语言指令进行颜色与几何编辑。为训练 InstructP2P，我们引入一个新的形状编辑数据集，通过整合形状分割数据集、现成形状程序以及由大语言模型 ChatGPT 生成的多样化编辑指令构建而成。我们提出的方法允许在单次前向传播中编辑特定区域的颜色与几何，同时保持其他区域不受影响。实验中，尽管仅在有限数据上训练，InstructP2P 展现出泛化能力，可适应新颖的形状类别与指令。
引用
@article{arxiv.2306.07154,
title = {InstructP2P: Learning to Edit 3D Point Clouds with Text Instructions},
author = {Jiale Xu and Xintao Wang and Yan-Pei Cao and Weihao Cheng and Ying Shan and Shenghua Gao},
journal= {arXiv preprint arXiv:2306.07154},
year = {2023}
}