一体通用：基于动态推理的单阶段指代表达理解
计算机视觉与模式识别
2022-10-28 v3
摘要
指代表达理解（REC）是视觉推理中最重要的任务之一，要求模型检测由自然语言表达式所指的目标对象。在已提出的流程中，单阶段指代表达理解（OSREC）已成为主导趋势，因其合并了区域提议与选择阶段。许多最先进的 OSREC 模型采用多跳推理策略，因为单个表达式中频繁提及一系列对象，需要多跳推理来分析语义关系。然而，这些模型一个未解决的问题是推理步数需在推理前预定义且固定，忽略了表达式复杂度的变化。本文中，我们提出一种动态多步推理网络，其允许基于推理状态与表达式复杂度动态调整推理步数。具体地，我们采用 Transformer 模块来记忆与处理推理状态，并采用强化学习策略来动态推断推理步数。该工作在多个 REC 数据集上取得了最先进的性能或显著改进，范围从具有短表达式的 RefCOCO（+, g）到具有长且复杂组合表达式的数据集 Ref-Reasoning。
引用
@article{arxiv.2208.00361,
title = {One for All: One-stage Referring Expression Comprehension with Dynamic Reasoning},
author = {Zhipeng Zhang and Zhimin Wei and Zhongzhen Huang and Rui Niu and Peng Wang},
journal= {arXiv preprint arXiv:2208.00361},
year = {2022}
}
备注
27 pages, 6 figures