具有谱先验的紧凑循环层
机器学习
2026-02-26 v1
摘要
医疗、机器人和自动驾驶等领域的关键应用要求紧凑（即高效）、具不确定性感知的神经网络，以适用于边缘和其他资源受限的部署。我们研究紧凑循环谱层和块循环-循环块 (BCCB) 层：FFT 可对角化的循环卷积，其权重直接驻留在实FFT (RFFT) 半平面（1D）或半平面（2D）。在频域参数化滤波器可施加简单谱结构、在低维权空间内进行结构化变分推断，以及计算精确的层谱范数，从而实现低成本的全局Lipschitz界限和基于间隙的鲁棒性诊断。通过在Hermitian支撑上放置独立复高斯分布，可获得平稳核谱表示的离散实例，诱导离散圆/环面上的滤波器的精确平稳高斯过程先验。我们利用此特性定义实用的谱先验和Hermitian感知的低秩+对角变分后验（以实坐标表示）。经验上，谱循环/BCCB层在（变分）贝叶斯和点估计范式中均为有效紧凑构建模块：MNIST->Fashion-MNIST上的紧凑贝叶斯神经网络，冻结CIFAR-10特征上的变分头部，以及CIFAR-10/Tiny ImageNet上的确定性ViT投影；谱层在匹配强基准的同时，使用显著更少参数且Lipschitz证书更紧密。
引用
@article{arxiv.2602.21965,
title = {Compact Circulant Layers with Spectral Priors},
author = {Joseph Margaryan and Thomas Hamelryck},
journal= {arXiv preprint arXiv:2602.21965},
year = {2026}
}