3DAlign-DAER：面向大规模细粒度 3D-文本对齐的动态注意力策略与高效检索
计算机视觉与模式识别
2026-04-27 v2
摘要
尽管近期在 3D-文本跨模态对齐方面取得了进展，现有的先进方法仍难以将细粒度文本语义与详细几何结构对齐，当扩展到大规模 3D 数据库时，对齐性能会显著下降。为克服这一局限，本文提出 3DAlign-DAER，一个统一的框架，通过提出的动态注意力策略和高效检索策略，对齐文本和 3D 几何，捕捉多样化跨模态检索和分类任务中细微的对应关系。具体而言，在训练期间，所提出的动态注意力策略 (DAP) 采用层次注意力融合 (HAF) 模块将对齐表示为可学习的细粒度 token-to-point 注意力。在不同的任务和几何层次之间优化这些注意力时，DAP 进一步利用蒙特卡洛树搜索通过混合奖励信号动态校准 HAF 注意力权重，从而增强文本描述与局部 3D 几何之间的对齐。在推理期间，3DAlign-DAER 引入了高效检索策略 (ERS)，利用在大规模嵌入空间中的层次化搜索，超越传统方法（如 KNN）在准确率和效率方面的表现。此外，为促进文本-3D 对齐研究并训练 3DAlign-DAER，我们构建了 Align3D-2M 数据集，包含 200 万条文本-3D 对，提供足够的细粒度跨模态注释。广泛且全面的实验表明，3DAlign-DAER 在各种基准测试上的性能卓越。我们的代码和模型将在 https://github.com/waltstephen/Cost-Effective-Communication 上发布。
引用
@article{arxiv.2511.13211,
title = {3DAlign-DAER: Dynamic Attention Policy and Efficient Retrieval Strategy for Fine-grained 3D-Text Alignment at Scale},
author = {Yijia Fan and Jusheng Zhang and Kaitong Cai and Jing Yang and Jian Wang and Keze Wang},
journal= {arXiv preprint arXiv:2511.13211},
year = {2026}
}