效率随全局-局部解耦而随之而来
计算机视觉与模式识别
2026-03-23 v1
摘要
现代视觉模型必须在不牺牲局部细节的前提下捕获图像级上下文，同时保持计算可负担。我们重新审视这一权衡，提出简单原则：解耦全局推理与局部表征的角色。为实现这一原则，我们引入ConvNeur，一个双支架架构，其中轻量级神经记忆支架在紧凑token集合上聚合全局上下文，局部保持支架提取细节结构。一个学习门控允许全局线索在不 entangled其目标的情况下调制局部特征。这种分离实现了图像大小的亚二次比例扩展，保留了与局部处理相关的归纳先验，减少了相对于完全全局注意力的开销。在标准的分类、检测和分割基准测试上，ConvNeur在相同或更低的计算预算下，匹配或超越了类似替代方案，提供了在类似预算下的有利于准确率与延迟权衡。在检测和分割任务上，ConvNeur在严格的计算预算下实现更低的推理延迟和更高的吞吐量，同时保持强大的下游任务泛化能力。这些结果支持效率随全局-局部解耦的观点。
引用
@article{arxiv.2603.19567,
title = {Efficiency Follows Global-Local Decoupling},
author = {Zhenyu Yang and Gensheng Pei and Tao Chen and Yichao Zhou and Tianfei Zhou and Yazhou Yao and Fumin Shen},
journal= {arXiv preprint arXiv:2603.19567},
year = {2026}
}