解释隐式神经画布：通过追踪贡献将像素与神经元连接起来
计算机视觉与模式识别
2024-07-17 v2
摘要
隐式神经表示（INR）的多种变体——即神经网络被训练为信号的连续表示——对于包括新视角合成、视频压缩和图像超分辨率在内的下游任务具有巨大的实用价值。遗憾的是，这些网络的内部工作机制鲜少被研究。我们的工作——解释隐式神经画布（XINC）——是一个统一的框架，通过检查每个神经元对每个输出像素贡献的强度来解释 INR 的属性。我们将这些贡献图的聚合称为隐式神经画布，并利用这一概念证明，我们所研究的 INR 学会了以令人惊讶的方式“观察”它们所表示的帧。例如，INR 倾向于具有高度分布式的表示。虽然缺乏高级对象语义，但它们对颜色和边缘有显著的偏好，并且几乎完全与空间无关。我们通过检查视频 INR 中对象随时间的表示方式得出结论，使用聚类来可视化不同层和架构间的相似神经元，并表明这主要由运动主导。这些见解证明了我们分析框架的普遍适用性。我们的项目页面可在 https://namithap10.github.io/xinc 获取。
引用
@article{arxiv.2401.10217,
title = {Explaining the Implicit Neural Canvas: Connecting Pixels to Neurons by Tracing their Contributions},
author = {Namitha Padmanabhan and Matthew Gwilliam and Pulkit Kumar and Shishira R Maiya and Max Ehrlich and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:2401.10217},
year = {2024}
}