中文

高效通用感知编码器

计算机视觉与模式识别 2026-04-01 v2

摘要

在智能边缘设备上运行AI模型可以解锁多样化的用户体验,但面临计算资源有限以及需要同时处理多个任务的挑战。这需要一个体积小且具有强大且通用表征能力的视觉编码器。我们提出了我们的方法——高效通用感知编码器(Efficient Universal Perception Encoder, EUPE),它在推理效率和多样化下游任务的普遍性好表征之间取得了平衡。我们通过从多个领域专家基础视觉编码器蒸馏来实现这一点。不同于以往直接从多个教师缩放以高效编码器的聚合方法,我们证明了首先放大到大型代理教师,然后从该单一教师缩放的重要性。实验表明,EUPE在多样化任务领域上实现了与各个领域专家相同尺寸的水平或更好性能,也超越了以往的聚合编码器。我们发布了EUPE完整的模型系列以及代码,以促进未来研究。

关键词

引用

@article{arxiv.2603.22387,
  title  = {Efficient Universal Perception Encoder},
  author = {Chenchen Zhu and Saksham Suri and Cijo Jose and Maxime Oquab and Marc Szafraniec and Wei Wen and Yunyang Xiong and Patrick Labatut and Piotr Bojanowski and Raghuraman Krishnamoorthi and Vikas Chandra},
  journal= {arXiv preprint arXiv:2603.22387},
  year   = {2026}
}

备注

Code: https://github.com/facebookresearch/EUPE; Model: https://huggingface.co/collections/facebook/eupe