用于指代表达理解与时序分割联合学习的多任务协作网络
计算机视觉与模式识别
2020-03-20 v1
摘要
指代表达理解(REC)与分割(RES)是两个高度相关的任务，均旨在根据自然语言表达式识别指代对象。本文中，我们首次提出一种新颖的多任务协作网络(MCN)来实现REC与RES的联合学习。在MCN中，RES可帮助REC实现更好的语言-视觉对齐，而REC可帮助RES更好地定位指代对象。此外，我们通过两项创新设计，即一致性能量最大化(CEM)和自适应软非定位抑制(ASNLS)，解决了这一多任务设置中的关键挑战，即预测冲突。具体而言，CEM通过最大化两任务间的一致性能量使REC与RES聚焦于相似视觉区域。ASNLS基于REC的预测抑制RES中无关区域的响应。为验证模型，我们在REC与RES的三个基准数据集（即RefCOCO、RefCOCO+和RefCOCOg）上进行了大量实验。实验结果显示MCN相较所有现有方法取得显著性能提升，即REC较SOTA提升高达+7.13%，RES较SOTA提升+11.50%，这充分证实了我们的模型在REC与RES联合学习上的有效性。
引用
@article{arxiv.2003.08813,
title = {Multi-task Collaborative Network for Joint Referring Expression Comprehension and Segmentation},
author = {Gen Luo and Yiyi Zhou and Xiaoshuai Sun and Liujuan Cao and Chenglin Wu and Cheng Deng and Rongrong Ji},
journal= {arXiv preprint arXiv:2003.08813},
year = {2020}
}
备注
accpected by CVPR2020 (oral)