“这是我的独角兽，Fluffy”：个性化冻结视觉-语言表征
计算机视觉与模式识别
2022-08-03 v3 机器学习
摘要
在网络规模数据上预训练的大型视觉与语言（V&L）模型提供了对众多 V&L 问题极具价值的表征。然而，目前尚不清楚如何将它们用于对非结构化语言中用户特定的视觉概念进行推理。该问题出现在多个领域，从个性化图像检索到与智能设备的个性化交互。我们引入了一种称为个性化视觉与语言（PerVL）的新学习设定，以及两个用于在“自然场景”中检索和分割用户特定“个性化”概念的新基准数据集。在 PerVL 中，应（1）独立于下游任务学习个性化概念，（2）允许预训练模型用自由语言对其推理，且（3）不需要个性化负样本。我们提出了一种解决 PerVL 的架构，其通过为新的个性化概念在预训练模型的输入词表中扩展新词嵌入来运作。模型随后可通过在句子中直接使用它们来进行推理。我们展示了我们的方法能从少量样本学习个性化视觉概念，并可使用丰富文本查询将其有效应用于图像检索和语义分割。
引用
@article{arxiv.2204.01694,
title = {"This is my unicorn, Fluffy": Personalizing frozen vision-language representations},
author = {Niv Cohen and Rinon Gal and Eli A. Meirom and Gal Chechik and Yuval Atzmon},
journal= {arXiv preprint arXiv:2204.01694},
year = {2022}
}
备注
Accepted to ECCV (Oral). Compared to the ECCV camera ready version, we moved the ablation study to the main text, and updated the related work