基于语言自适应推理的指代表达式理解
计算机视觉与模式识别
2023-06-08 v1
摘要
与通用目标检测不同，指代表达式理解（REC）旨在定位由自然语言表达式所指的特定对象。该表达式提供了相关视觉与上下文模式的高层概念，这些概念随不同表达式而有显著差异，且仅占 REC 模型所编码模式中的一小部分。这引出一个问题：对于各种指代表达式，我们是否真的需要一个结构固定的完整网络？理想情况下，给定一个表达式，仅需 REC 模型中与该表达式相关的组件。这些组件数量应较少，因为每条表达式仅包含极少的视觉与上下文线索。本文探索表达式与 REC 模型之间的适配以实现动态推理。具体而言，我们提出一个简洁而高效的框架，称为语言自适应动态子网络（LADS），它可根据指代表达式从 REC 模型中提取语言自适应子网络。通过使用紧凑的子网络，推理可更为经济高效。在 RefCOCO、RefCOCO+、RefCOCOg 和 Referit 上的大量实验表明，所提方法相比当前最优方法实现了更快的推理速度与更高的准确率。
引用
@article{arxiv.2306.04451,
title = {Referring Expression Comprehension Using Language Adaptive Inference},
author = {Wei Su and Peihan Miao and Huanzhang Dou and Yongjian Fu and Xi Li},
journal= {arXiv preprint arXiv:2306.04451},
year = {2023}
}
备注
Accepted by AAAI2023