点云对应关系中局部高斯作为自注意力权重
计算机视觉与模式识别
2025-08-11 v2 图形学
摘要
当前数据驱动的方法用于点云匹配要求大量的训练时间和计算资源，给模型部署和应用带来了显著挑战。在点云匹配任务中，近期基于仅编码器的 Transformer 架构的进展揭示了注意力头中出现语义有意义模式的现象，尤其是类似以输入形状每个点的中心构成的高斯函数。在本工作中，我们进一步通过将这些模式作为注意力头中固定的注意力权重来进行研究。我们评估了两种变体：一种使用预定的方差值，另一种将方差值视为可学习参数。我们还分析了在噪声数据上的性能，并探索了提高对噪声鲁棒性的可能方法。我们的发现表明，固定注意力权重不仅加快了训练过程，还增强了优化的稳定性。此外，我们进行了消融研究，以识别信息注入最有影响力的特定层，并理解网络对该信息的依赖性。
关键词
引用
@article{arxiv.2409.13291,
title = {Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence},
author = {Alessandro Riva and Alessandro Raganato and Simone Melzi},
journal= {arXiv preprint arXiv:2409.13291},
year = {2025}
}