ResNet18 残差流中自然计算尺度不变性
计算机视觉与模式识别
2025-05-01 v2 机器学习
摘要
视觉物体识别中的重要能力是对保持物体身份不变的变量（如光照、旋转和尺度）的不变性。神经网络如何实现这一能力？先前的机制可解释性研究已揭示了 InceptionV1 中某些不变性电路，但结果有限，不同架构的网络则鲜有探索。本工作聚焦于 ResNet18，特别关注其残差流——一种InceptionV1 所缺乏的构件。我们观察到中间块中许多卷积通道表现出尺度不变性，这些性质通过尺度等效表示的元素级残差求和计算而实现：块输入的较小尺度复制与块预求和输出的较大尺度复制之间的求和。通过随后的消融实验，我们尝试将这些神经属性与尺度鲁棒物体识别行为建立因果联系。我们的初步发现表明残差流如何计算尺度不变性及其在行为中的可能作用。代码已公开：https://github.com/cest-andre/residual-stream-interp
引用
@article{arxiv.2504.16290,
title = {Naturally Computed Scale Invariance in the Residual Stream of ResNet18},
author = {André Longon},
journal= {arXiv preprint arXiv:2504.16290},
year = {2025}
}
备注
Fixed broken reference