感知编码器：最佳视觉嵌入不在网络输出处
计算机视觉与模式识别
2025-04-30 v2
摘要
我们提出感知编码器（PE），这是一种基于简单视觉-语言学习训练的领先视觉编码器，用于图像和视频理解。传统上，视觉编码器依赖多种预训练目标，每种目标都针对特定的下游任务，如分类、描述或定位。令人惊讶的是，在我们精心调谐的图像预训练配方规模化后，并通过稳健的视频数据引擎进行精炼后，我们发现仅凭对比式视觉-语言训练即可为所有这些下游任务产生强大且通用的嵌入。唯一的限制是，这些嵌入隐藏在网络的中间层中。为将其提取出来，我们引入两种对齐方法：语言对齐用于多模态语言建模，空间对齐用于密集预测。我们 PE 系列模型在广泛的任务中实现了最佳性能，包括 (1) 零样态图像和视频分类与检索，同时获得 86.6 的平均零样态 ImageNet robust性和 76.9 的零样态 Kinetics-400 视频分类；(2) 文档、图像和视频问答，使 94.6 DocVQA、80.9 InfographicVQA 和 82.7 PerceptionTest 达到 8B LLM；(3) 空间任务，如检测、跟踪和深度估计，实现 COCO 最新的 66.0 box mAP。为促进进一步的研究，我们发布我们的模型、代码以及新构建的合成和人工标注视频数据集：https://github.com/facebookresearch/perception_models
引用
@article{arxiv.2504.13181,
title = {Perception Encoder: The best visual embeddings are not at the output of the network},
author = {Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Dollár and Christoph Feichtenhofer},
journal= {arXiv preprint arXiv:2504.13181},
year = {2025}
}
备注
Updated refs, fixed typos, and added new COCO SotA: 66.0 val mAP! Code, models, and data at https://github.com/facebookresearch/perception_models