FBPT：一种完全二进制点云变换器

本文提出了一种新颖的Fully Binary Point Cloud Transformer（FBPT）模型，具有广泛应用于机器人和移动设备领域的潜力。通过将32位全精度网络的权重和激活压缩为1位二进制值，提出的二进制点云Transformer网络显著减少了点云处理任务中神经网络模型的存储占用和计算资源需求。然而，实现完全二进制点云Transformer网络（除特定任务模块外的所有部分均为二进制），在对Q、K、V以及注意力模块中的自注意力进行激活量化时面临挑战和瓶颈，因为它们不遵循简单的概率分布，且会随输入数据而变化。此外，在我们的网络中，二进制注意力模块由于softmax操作后产生的均匀分布而导致自注意力模块性能下降。本文的主要焦点是解决由于使用二进制点云Transformer模块导致的性能下降问题。我们提出了一种称为dynamic-static hybridization的新颖二值化机制。具体而言，我们的方法结合了整个网络模型的静态二值化与数据敏感组件的细粒度动态二值化。此外，我们利用一种新颖的分层训练方案来获得最佳模型和二值化参数。上述改进允许提出的二值化方法在点云Transformer结构中超过应用于卷积神经网络的二值化方法。为演示该算法的优越性，我们在两个不同任务上进行了实验：点云分类和姿态识别。