融合自编码与自回归的通用点模型
机器学习
2023-10-27 v1 计算机视觉与模式识别
摘要
大语言模型的预训练架构涵盖多种类型，包括自编码模型、自回归模型以及编码器-解码器模型。我们假定任何模态只要经过矢量量化成为离散token，都可能从大语言模型中获益。受GLM启发，我们提出通用点模型（GPM），在点云transformer中无缝集成自编码与自回归任务。该模型通用性强，允许微调用于下游点云表征任务，以及无条件与条件生成任务。GPM通过多种形式的掩码填充任务增强自编码中的掩码预测，从而提升点云理解性能。此外，GPM在无条件点云生成任务中展现出极具竞争力的结果，甚至通过修改输入的条件信息表现出条件生成任务的潜力。相较于Point-BERT、MaskPoint和PointMAE等模型，我们的GPM在点云理解任务中取得更优性能。进而，自回归与自编码在同一transformer中的集成凸显了其跨不同下游任务的通用性。
引用
@article{arxiv.2310.16861,
title = {General Point Model with Autoencoding and Autoregressive},
author = {Zhe Li and Zhangyang Gao and Cheng Tan and Stan Z. Li and Laurence T. Yang},
journal= {arXiv preprint arXiv:2310.16861},
year = {2023}
}