面向三维零样本学习的提示引导场景生成
计算机视觉与模式识别
2022-09-30 v1
摘要
与二维图像 counterpart 相比，三维点云数据上的零样本学习（ZSL）是一个相关的未被充分探索的问题。由于缺乏鲁棒预训练特征提取模型，三维数据给 ZSL 带来了新的挑战。为解决此问题，我们提出一种提示引导的三维场景生成与监督方法，该方法增广三维数据以更好地训练网络，探索已见与未见对象之间的复杂相互作用。首先，我们以提示所描述的特定方式合并两个三维模型的点云。提示充当描述每个三维场景的标注。随后，我们执行对比学习以端到端方式训练我们提出的架构。我们认为三维场景比单个对象能更有效地关联对象，因为流行的语言模型（如 BERT）在对象出现于上下文中时可获得高性能。我们提出的提示引导场景生成方法封装了数据增广与基于提示的标注/ captioning 以提升三维 ZSL 性能。我们在合成（ModelNet40、ModelNet10）与真实扫描（ScanOjbectNN）三维对象数据集上取得了最先进的 ZSL 和广义 ZSL 性能。
引用
@article{arxiv.2209.14690,
title = {Prompt-guided Scene Generation for 3D Zero-Shot Learning},
author = {Majid Nasiri and Ali Cheraghian and Townim Faisal Chowdhury and Sahar Ahmadi and Morteza Saberi and Shafin Rahman},
journal= {arXiv preprint arXiv:2209.14690},
year = {2022}
}