构建 SNN 与 ANN 在图像修复任务之间的鸿沟
计算机视觉与模式识别
2025-04-03 v1
摘要
基于传统人工神经网络（ANN）的稠密预测模型在能源需求上具有较大挑战，尤其是在图像修复任务中。目前，基于 SNN（脉冲神经网络）框架的神经网络正逐渐在图像修复领域崭露头角，尤其因为它们通常仅使用不足 ANN（相同结构）的 10% 能源。然而，由于采用启发式梯度下降策略，训练 SNN 的成本远高于训练 ANN。也就是说，SNN 其膜电信号从稀疏到稠密的变化过程非常缓慢，这会影响整个模型的收敛。在本工作中，我们提出了一种新颖的蒸馏技术，称为非对称框架（ANN-SNN）蒸馏，其中教师是 ANN，学生是 SNN。具体而言，我们利用 ANN 学习的中间特征（特征图）作为线索来指导 SNN 的训练过程。该方法不仅加快了 SNN 的收敛速度，还提高了其最终性能，有效地弥合了 SNN 效率与 ANN 卓越学习能力之间的差距。大量实验结果表明，我们设计的 SNN 基于图像修复模型（仅为教师网络的 1/300 参数，能源消耗仅为教师网络的 1/50）在某些去噪任务中与教师网络相当。
引用
@article{arxiv.2504.01755,
title = {Bridge the Gap between SNN and ANN for Image Restoration},
author = {Xin Su and Chen Wu and Zhuoran Zheng},
journal= {arXiv preprint arXiv:2504.01755},
year = {2025}
}
备注
Under review