CanViT：面向主动视觉基础模型
摘要
主动计算机视觉通过顺序、局部的瞻望实现高效、生物学上可信的感知，但缺乏可扩展的通用架构和预训练管道，导致 Active-Vision Foundation Models (AVFMs) underexplored。我们引入 CanViT，第一个 task- 和 policy-agnostic AVFM。CanViT 使用 scene-relative RoPE 将 retinotopic Vision Transformer 主干与 spatiotopic scene-wide latent workspace（即 canvas）绑定。通过 Canvas Attention，这种新颖的非对称交叉注意力机制支持与 high-capacity working memory 的高效交互。我们解耦 thinking (主干层) 和 memory (画布层)，消除画布侧的自注意力和全连接层，以实现快速顺序推理和可扩展性至高输出分辨率。我们提出一种 label-free active vision 预训练方案，policy-agnostic passive-to-active dense latent distillation：从序列低分辨率瞻望中重建 scene-wide DINOv3 嵌入，瞻望位置、缩放级别和长度随机化。我们在单个 H100 上在 1320 万 ImageNet-21k 场景上预训练 CanViT-B——比 previous active model 多一个数量级——并在 10 亿个随机瞻望中训练 166 小时。 在 ADE20K 分段上，冻结的 CanViT-B 在单个低分辨率瞻望中实现 38.5% mIoU，优于最佳 active model 的 27.6%，且使用 20 倍更少的推理 FLOPs，以及其 FLOP- 或 input-matched DINOv3 teacher。给定 additional glimpses，CanViT-B 达到 45.9% ADE20K mIoU。在 ImageNet-1k 分类上，CanViT-B 也为 active-vision setting 树立了新的 state of the art，训练后实现 84.5% top-1 accuracy。CanViT 可推广到更长的 rollout、更大的场景和 new policies。我们的工作缩小了 passive 与 active 计算机视觉之间的巨大鸿沟，展示了 task- 和 policy-agnostic AVFM 预训练的潜力。
引用
@article{arxiv.2603.22570,
title = {CanViT: Toward Active-Vision Foundation Models},
author = {Yohaï-Eliel Berreby and Sabrina Du and Audrey Durand and B. Suresh Krishna},
journal= {arXiv preprint arXiv:2603.22570},
year = {2026}
}
备注
v2: additional results: 84.5% IN1k accuracy after fine-tuning and effect of canvas resolution. Code and weights: https://github.com/m2b3/CanViT-PyTorch