AD-DINO：用于距离感知具身指称理解的注意力动态 DINO
计算机视觉与模式识别
2024-11-14 v1
摘要
具身指称理解对于智能体通过手势信号和语言描述基于人类意图预测指称对象至关重要。本文提出了注意力动态 DINO，一种旨在缓解各种交互情境下指向手势误解的新框架。我们的方法整合视觉和文本特征，同时预测目标对象的边界框和指向手势中的注意力源。利用视觉透视采取中非语言交际的距离感知特性，我们扩展了虚拟触摸线机制，并提出了注意力动态触摸线，以基于交互距离表示指称手势。这种距离感知方法与注意力源的独立预测相结合，增强了对象与手势表示线之间的对齐。在 YouRefIt 数据集上的大量实验证明了我们的手势信息理解方法在显著提升任务性能方面的有效性。我们的模型在 0.25 IoU 阈值下达到 76.4% 的准确率，值得注意的是，在 0.75 IoU 阈值下超越了人类表现，这在该领域属于首次。与以往研究中不考虑距离的理解方法的比较实验进一步验证了注意力动态触摸线在多样情境下的优越性。
引用
@article{arxiv.2411.08451,
title = {AD-DINO: Attention-Dynamic DINO for Distance-Aware Embodied Reference Understanding},
author = {Hao Guo and Wei Fan and Baichun Wei and Jianfei Zhu and Jin Tian and Chunzhi Yi and Feng Jiang},
journal= {arXiv preprint arXiv:2411.08451},
year = {2024}
}