Cohort INRs 编码了什么以及何时冻结它们
机器学习
2026-05-12 v1 人工智能
摘要
重用基于Cohort训练的INR早期层作为新信号的初始化，已被证明可加速并改善信号拟合，但仍不清楚共享编码器的哪些层学习了可迁移的表征，以及这些表征具体编码了什么。我们针对两种标准骨干网络（SIREN 和 Fourier-feature MLP（FFMLP））回答这两个问题。首先，遍历共享编码器的冻结深度，我们发现最佳位置与权重稳定秩最高的层一致。冻结于该层位置的做法在所有实验中均匹配或优于标准微调方案。其次，识别哪一层可迁移并不等同于描述该层编码了什么。为此，我们采用稀疏自编码器（SAEs）——机制可解释性领域的主导工具——对INR激活进行稀疏字典原子分解。有趣的是，SIREN 和 FFMLP 在Cohort拟合质量上实现了相当水平，但学习了质EDA不同的数据字典。Cohort SIREN 的原子是局部化的，覆盖坐标平面，使每个原子在独立于Cohort内容的局部区域内激活。Cohort FFMLP 的原子覆盖图像，描绘了记忆中的Cohort信号的轮廓。单原子消除实验确认了这些字典的因果用途：单个FFMLP 原子（仅4096个原子之一）即可在整个图像上将PSNR下降最高达10.6 dB，而SIREN 消除仅限于该原子激活的位置。这些结果首次为Cohort训练INR的可迁移性提供了机制性解释，并将其激活转化为可检查的字典原子。这些工具为阐明INR编码的内容以及为通用性而非记忆性设计体系结构开辟了道路。
引用
@article{arxiv.2605.08298,
title = {What Cohort INRs Encode and Where to Freeze Them},
author = {Vasiliki Sideri-Lampretsa and Sophie Starck and Robbie Holland and Julian McGinnis and Daniel Rueckert},
journal= {arXiv preprint arXiv:2605.08298},
year = {2026}
}
备注
9 content pages plus appendix