连接基础模型的嵌入
计算机视觉与模式识别
2024-07-16 v2 人工智能
计算与语言
摘要
基础模型在跨模态推理和记忆方面具有强大能力。为了进一步释放基础模型的潜力，我们提出了FIND，一个用于对齐基础模型嵌入与统一图像和数据集级别理解的通用接口，跨越模态和粒度。如预告图所示，一个轻量级Transformer接口无需调整任何基础模型权重，即可交错地进行分割、定位和检索。所提出的接口具有以下优点：(1) 可泛化。在相同架构和权重下，适用于包括检索、分割等在内的各种任务。(2) 可交错。得益于多任务多模态训练，所提出的接口创建了一个交错的共享嵌入空间。(3) 可扩展。所提出的接口可适应新任务和新模型。鉴于交错嵌入空间，我们引入了FIND-Bench，它为COCO数据集引入了新的训练和评估标注，用于交错分割和检索。我们是第一个对齐基础模型嵌入以实现交错理解的工作。同时，我们的方法在FIND-Bench上达到了最先进的性能，并在标准检索和分割设置上取得了有竞争力的性能。
引用
@article{arxiv.2312.07532,
title = {Interfacing Foundation Models' Embeddings},
author = {Xueyan Zou and Linjie Li and Jianfeng Wang and Jianwei Yang and Mingyu Ding and Junyi Wei and Zhengyuan Yang and Feng Li and Hao Zhang and Shilong Liu and Arul Aravinthan and Yong Jae Lee and Lijuan Wang},
journal= {arXiv preprint arXiv:2312.07532},
year = {2024}
}
备注
CODE: https://github.com/UX-Decoder/FIND