基于 Point Transformer 的迁移学习
计算机视觉与模式识别
2024-04-02 v1 机器学习
摘要
Point Transformer 是用于点云数据分类、分割和检测任务的接近 SOTA 的模型。它们利用基于自注意力的机制来建模多个点集之间的大范围空间依赖关系。在本项目中，我们探索了两点内容：这些基于注意力的网络在 ModelNet10 数据集上的分类性能，随后我们使用训练好的模型在微调后对 3D MNIST 数据集进行分类。我们还在 3D MNIST 数据集上从头训练了模型，以比较微调模型与从头训练模型在 MNIST 数据集上的性能。我们观察到，由于这两个数据集在分布程度上存在巨大差异，在这种情况下迁移学习模型并未优于从头训练的模型。尽管我们确实预期迁移学习模型能够更快收敛，因为它们已经从 ModelNet10 数据集中学习了底层的边缘、角点等特征。
关键词
引用
@article{arxiv.2404.00846,
title = {Transfer Learning with Point Transformers},
author = {Kartik Gupta and Rahul Vippala and Sahima Srivastava},
journal= {arXiv preprint arXiv:2404.00846},
year = {2024}
}