GLIPv2：统一定位与视觉语言理解
计算机视觉与模式识别
2022-10-13 v2 人工智能
计算与语言
机器学习
多媒体
摘要
我们提出 GLIPv2，一种接地（grounded）视觉语言理解模型，可同时服务于定位任务（如目标检测、实例分割）与视觉语言（VL）理解任务（如 VQA、图像描述）。GLIPv2 通过三个预训练任务优雅地统一了定位预训练与视觉语言预训练（VLP）：作为检测任务 VL 重构的短语接地、作为新颖区域-词级对比学习任务的区域-词对比学习，以及掩码语言建模。这种统一不仅简化了以往的多阶段 VLP 流程，还实现了定位与理解任务间的互利。实验结果表明，单一 GLIPv2 模型（所有模型权重共享）在各类定位与理解任务上取得了接近 SOTA 的性能。该模型还展现出（1）在开放词汇目标检测任务上的强零样本与少样本适应能力，以及（2）在 VL 理解任务上的优越接地能力。代码将于 https://github.com/microsoft/GLIP 发布。
引用
@article{arxiv.2206.05836,
title = {GLIPv2: Unifying Localization and Vision-Language Understanding},
author = {Haotian Zhang and Pengchuan Zhang and Xiaowei Hu and Yen-Chun Chen and Liunian Harold Li and Xiyang Dai and Lijuan Wang and Lu Yuan and Jenq-Neng Hwang and Jianfeng Gao},
journal= {arXiv preprint arXiv:2206.05836},
year = {2022}
}
备注
NeurIPS 2022; updated with reviewers' comments addressed; Code is released at https://github.com/microsoft/GLIP