基于层次对比双塔变换器的多目标定位
计算机视觉与模式识别
2025-04-15 v1
摘要
3D 场景中的多目标定位涉及根据自然语言输入对多个对象进行局部化。虽然之前的工作主要关注单目标定位，但现实场景往往需要对多个对象进行定位。为解决这一挑战，我们提出了层次对比双塔变换器 (Hierarchical Contrastive Siamese Transformers, H-COST)，其采用层次化处理策略逐步细化对象定位，增强对复杂语言指令的理解。此外，我们引入了对比双塔变换器框架，其中两个结构相同的网络被用于：一个辅助网络处理来自 ground-truth 标签的鲁棒对象关系，以引导并增强第二个网络（即参考网络），后者 operates on分段点云数据。这种对比机制强化了模型的语义理解能力，并显著提升了其处理复杂点云数据的能力。我们的方法在具有挑战性的多目标定位基准测试中比以前的状态-of-the-art 方法提高了 9.5%。
引用
@article{arxiv.2504.10048,
title = {Multi-Object Grounding via Hierarchical Contrastive Siamese Transformers},
author = {Chengyi Du and Keyan Jin},
journal= {arXiv preprint arXiv:2504.10048},
year = {2025}
}