一种用于指代表达分割与生成的统一互监督框架
计算机视觉与模式识别
2022-11-16 v1
摘要
指代表达分割（RES）与指代表达生成（REG）是互为逆过程的任务，可自然地进行联合训练。尽管近期工作已探索此类联合训练，但 RES 与 REG 如何相互受益的机制仍不清楚。本文提出一种统一互监督框架，使两个任务能够相互提升。我们的互监督包含两个方向。一方面，消歧监督利用 RES 提供的表达无歧义性度量来增强 REG 的语言生成。另一方面，生成监督使用 REG 自动生成的表达来扩展 RES 的训练。这种统一互监督通过解决各自的瓶颈问题有效改善了两个任务。大量实验表明，在相同设置下，我们的方法在 REG 与 RES 任务上显著优于所有现有方法，且详细的消融研究证明了框架中各组件的有效性。
引用
@article{arxiv.2211.07919,
title = {A Unified Mutual Supervision Framework for Referring Expression Segmentation and Generation},
author = {Shijia Huang and Feng Li and Hao Zhang and Shilong Liu and Lei Zhang and Liwei Wang},
journal= {arXiv preprint arXiv:2211.07919},
year = {2022}
}