SBS：通过抑制谱偏置增强神经网络隐式神经表示的参数效率
机器学习
2025-09-10 v1 人工智能
摘要
隐式神经表示近期已被扩展用于通过神经表示表示卷积神经网络权重，展现出良好的参数压缩优势。然而，神经表示中使用的标准多层感知器表现出显著的谱偏置，妨碍了其有效重建高频细节的能力。本文提出 SBS，一种针对神经表示的参数高效增强方法，通过两种技术抑制谱偏置：(1) 基于单向排序的平滑，改善输出空间中的核平滑度；(2) 基于单向排序平滑感知的随机傅里叶特征，根据逐层参数量自适应调制输入编码的频带。在数据集 CIFAR-10、CIFAR-100 和 ImageNet 上对各种 ResNet 模型的广泛评估表明，与 SOTA 相比，SBS 以更少的参数实现了显著更好的重建精度。
引用
@article{arxiv.2509.07373,
title = {SBS: Enhancing Parameter-Efficiency of Neural Representations for Neural Networks via Spectral Bias Suppression},
author = {Qihu Xie and Yuan Li and Yi Kang},
journal= {arXiv preprint arXiv:2509.07373},
year = {2025}
}
备注
Accepted by ICONIP 2025