视觉编码器应具备图像尺寸无关性并以任务驱动
计算机视觉与模式识别
2025-08-25 v1
摘要
本文是一篇立场论文，论证下一代视觉编码器应具备图像尺寸无关性并以任务驱动。我们的灵感来源于生物学。并非生物视觉的结构层面，而是一种行为特质——效率。我们聚焦于自然界视觉高效运作的若干方式，而现代视觉编码器尚不具备这些特性——人类和动物处理海量视觉数据，需要在有限精力下做出智能分配，这取决于具体任务。我们认为视觉编码器应是动态的，其计算复杂度应取决于当前任务而非图像尺寸。我们还提供了实现这一愿景的具体初步步骤——一个用于图像分类的概念验证方案。尽管分类并不能很好地代表我们试图实现的目标，但它表明了我们的方法切实可行且前景广阔。
引用
@article{arxiv.2508.16317,
title = {Vision encoders should be image size agnostic and task driven},
author = {Nedyalko Prisadnikov and Danda Pani Paudel and Yuqian Fu and Luc Van Gool},
journal= {arXiv preprint arXiv:2508.16317},
year = {2025}
}