重新思考点云分析注意力模块设计
计算机视觉与模式识别
2024-07-30 v1
摘要
近年来，针对点云分析应用注意力机制取得了显著进展。然而，各种研究论文中出现的注意力模块变体往往在不同设置和任务下运行，包含潜在的训练策略。这导致在这些注意力模块变体之间建立公平比较方面存在挑战。本文通过在一致的基本框架和设置下重新思考和探索注意力模块设计来解决这一问题。我们研究了基于全局和基于局部的注意力方法，重点关注局部注意力中邻居的选择基准和尺度。不同组合的聚合局部特征和注意力得分的计算方法被评估，从最初的加法/拼接方法到广泛采用的数据库方法，再到最近提出的向量注意力技术。也研究了各种位置编码方法。我们的广泛实验分析表明，没有单一的设计在各种点云任务中都是最优的。相反，基于最佳实践，我们为特定任务提出了量身定制的注意力模块，实现了在点云分类和分割基准测试上的卓越性能。
引用
@article{arxiv.2407.19294,
title = {Rethinking Attention Module Design for Point Cloud Analysis},
author = {Chengzhi Wu and Kaige Wang and Zeyun Zhong and Hao Fu and Junwei Zheng and Jiaming Zhang and Julius Pfrommer and Jürgen Beyerer},
journal= {arXiv preprint arXiv:2407.19294},
year = {2024}
}