基于黎曼的多尺度注意力推理网络用于文本-3D检索
计算机视觉与模式识别
2024-12-13 v2 多媒体
摘要
由于获取配对文本-3D数据的困难以及3D数据结构固有的不规则性，3D点云和文本的联合表征学习尚未得到探索。本文提出了一种新颖的基于黎曼的多尺度注意力推理网络（RMARN）用于文本-3D检索。具体而言，通过各自的自适应特征细化器（AFR）对提取的文本和点云特征进行细化。进一步引入创新的黎曼局部相似性（RLS）模块和全局池化相似性（GPS）模块。然而，由于3D点云数据和文本数据常在高维空间中具有复杂的几何结构，所提出的RLS采用新颖的黎曼注意力机制来反映数据的内在几何关系。RMARN在不显式定义流形的情况下，学习流形参数以更好地表示文本-点云样本之间的距离。为解决缺乏配对文本-3D数据的挑战，我们创建了大型文本-3D检索数据集T3DR-HIT，包含超过3,380对文本和点云数据。T3DR-HIT包含粗粒度室内3D场景和细粒度中国文物场景，分别包含1,380和2,000多对文本-3D配对。我们在自定义数据集上的实验表明，所提出的方法性能卓越。我们的代码和提出的数据集可在https://github.com/liwrui/RMARN获取。
引用
@article{arxiv.2408.13712,
title = {Riemann-based Multi-scale Attention Reasoning Network for Text-3D Retrieval},
author = {Wenrui Li and Wei Han and Yandu Chen and Yeyu Chai and Yidan Lu and Xingtao Wang and Xiaopeng Fan},
journal= {arXiv preprint arXiv:2408.13712},
year = {2024}
}
备注
Accepted by AAAI25