WSDM2023 Toloka VQA 挑战赛冠军方案
计算机视觉与模式识别
2023-02-21 v2
摘要
在本报告中，我们展示了针对 WSDM2023 Toloka 视觉问答 (VQA) 挑战赛的冠军方案。与常见的 VQA 和视觉定位 (VG) 任务不同，该挑战涉及更复杂的场景，即推断并定位由给定疑问句隐式指定的对象。针对此任务，我们利用 ViT-Adapter（一种无需预训练的适配器网络）来调整多模态预训练的 Uni-Perceiver，以实现更好的跨模态定位。我们的方法在排行榜上排名第一，在公开和私有测试集上分别取得了 77.5 和 76.347 的 IoU。这表明 ViT-Adapter 也是一种将统一感知模型适配到视觉-语言下游任务的有效范式。代码和模型将在 https://github.com/czczup/ViT-Adapter/tree/main/wsdm2023 发布。
引用
@article{arxiv.2301.09045,
title = {Champion Solution for the WSDM2023 Toloka VQA Challenge},
author = {Shengyi Gao and Zhe Chen and Guo Chen and Wenhai Wang and Tong Lu},
journal= {arXiv preprint arXiv:2301.09045},
year = {2023}
}
备注
Technical report in WSDM Cup 2023