连接视觉与语言编码器：面向指代图像分割的参数高效微调
计算机视觉与模式识别
2023-07-24 v1 计算与语言
摘要
参数高效微调（Parameter Efficient Tuning, PET）因能在保持性能的同时减少参数量并提供更好的硬件资源节省而受到关注，但很少有研究探讨密集预测任务以及模态间的交互。在本文中，我们对指代图像分割上的高效微调问题进行了研究。我们提出了一种称为 Bridger 的新型适配器，以促进跨模态信息交换并将任务特定信息注入预训练模型。我们还设计了一个轻量级解码器用于图像分割。我们的方法仅更新 1.61% 到 3.38% 的主干参数，在具有挑战性的基准上取得了可比或更优的性能。代码可在 \url{https://github.com/kkakkkka/ETRIS} 获取。
引用
@article{arxiv.2307.11545,
title = {Bridging Vision and Language Encoders: Parameter-Efficient Tuning for Referring Image Segmentation},
author = {Zunnan Xu and Zhihong Chen and Yong Zhang and Yibing Song and Xiang Wan and Guanbin Li},
journal= {arXiv preprint arXiv:2307.11545},
year = {2023}
}
备注
Computer Vision and Natural Language Processing. 14 pages, 8 figures. ICCV-2023