探索高参数低模型中的叠加与干涉现象
计算机视觉与模式识别
2025-07-22 v1
摘要
本文探讨了面向计算机视觉的高参数低模型性能，聚焦于瓶颈架构及其使用超线性激活函数后的行为。我们解决了特征图中的干涉问题，这一与叠加现象相关联的现象，表现为神经元同时编码多个特征。我们的研究表明，限制干涉可在非常低规模的网络 (<1.5M 参数) 中提高扩展性和准确性。我们通过检查各种瓶颈架构，识别出减少干涉的关键设计元素，导致更高效的神经网络。因此，我们提出了一个以实验洞见为基础的名为 NoDepth Bottleneck 的证明概念架构，展示了在 ImageNet 数据集上实现稳健的扩展准确性。这些发现为低参数范围内更高效和可扩展的神经网络贡献，并推进了对计算机视觉中瓶颈的理解。https://caiac.pubpub.org/pub/3dh6rsel
引用
@article{arxiv.2507.15798,
title = {Exploring Superposition and Interference in State-of-the-Art Low-Parameter Vision Models},
author = {Lilian Hollard and Lucas Mohimont and Nathalie Gaveau and Luiz-Angelo Steffenel},
journal= {arXiv preprint arXiv:2507.15798},
year = {2025}
}