LighTN：用于点云下采样中性能-开销权衡的轻量型 Transformer 网络
计算机视觉与模式识别
2023-11-17 v1
摘要
相比传统的任务无关下采样方法，面向任务的神经网络在点云下采样范围内展现出更优性能。近来，Transformer 系列网络在视觉任务中表现出更强大的学习能力。然而，基于 Transformer 的架构可能消耗过多资源，而对于下采样范围内低开销任务网络而言这些资源通常无益。本文提出一种新颖的轻量型 Transformer 网络（LighTN）用于面向任务的点云下采样，作为一种端到端且即插即用的方案。在 LighTN 中，提出单头自相关模块以提取精炼的全局上下文特征，其中同时消去三个投影矩阵以节省资源开销，且对称矩阵的输出满足置换不变性。随后，我们设计一种新颖的下采样损失函数，引导 LighTN 关注具有更均匀分布和显著点覆盖的关键点云区域。此外，我们引入前馈网络缩放机制，依据扩展-缩减策略增强 LighTN 的可学习容量。在分类与配准任务上的大量实验结果表明，LighTN 能以有限资源开销取得 SOTA 性能。
引用
@article{arxiv.2202.06263,
title = {LighTN: Light-weight Transformer Network for Performance-overhead Tradeoff in Point Cloud Downsampling},
author = {Xu Wang and Yi Jin and Yigang Cen and Tao Wang and Bowen Tang and Yidong Li},
journal= {arXiv preprint arXiv:2202.06263},
year = {2023}
}