补丁的坍塌
计算机视觉与模式识别
2025-12-01 v1
摘要
观察图像中某些补丁可降低其他补丁的不确定性。其实现会降低每个剩余补丁特征的分布熵，类似量子力学中粒子波函数坍缩。我们学习一个自编码器，对每个目标补丁软性选择一小部分补丁进行重构。将这些学习到的依赖关系绘制为每个补丁的 PageRank 分数，揭示实现图像的最优补丁顺序。我们表明，遵循此顺序有利于各种掩码图像建模方法。首先，重新训练最先进模型 MAR 的自回归图像生成可获得提升。其次，我们引入一种新方法，通过仅暴露 Vision Transformer于坍缩顺序中高排名补丁来进行图像分类。仅见 22% 之此类补丁即可实现高精度。通过这些实验，我们提出补丁坍缩作为一种新颖的图像建模视角，促进视觉效率。我们的项目已公开于 https://github.com/wguo-ai/CoP。
引用
@article{arxiv.2511.22281,
title = {The Collapse of Patches},
author = {Wei Guo and Shunqi Mao and Zhuonan Liang and Heng Wang and Weidong Cai},
journal= {arXiv preprint arXiv:2511.22281},
year = {2025}
}
备注
13 pages, 10 figures