SinBasis网络：用于波状光学声谱图的矩阵等价特征提取
机器学习
2026-01-06 v3 人工智能
计算机视觉与模式识别
光学
摘要
波状图像——从瞬态紫外-伽马射线光谱图到光学光谱、音频梅尔声谱图以及周期性视频帧——编码了关键谐波结构，这些结构在传统特征提取器中难以捕获。我们提出了一个统一的、矩阵等价的框架，将卷积和注意力重新解释为对展平输入的线性变换，揭示滤波器权重作为潜在特征子空间中基向量的作用。为引入谱先验，我们对每个权重矩阵应用元素级的正弦映射。将这些变换嵌入CNN、ViT和Capsule网络架构中，可获得对周期性图案更敏感、内置空间平移不变性的SinBasis网络。在包括80,000个合成瞬态紫外-伽马射线光谱图、数千个拉曼光谱、光致发光光谱和FTIR光谱、来自AudioSet的梅尔声谱图以及来自Kinetics的循环模式帧等多样化的波状图像数据集上的实验，显示在重建精度、平移鲁棒性和零样本跨域迁移方面均取得显著提升。通过矩阵同构性和Mercer核截断的理论分析量化了正弦参数化如何丰富表达性，同时在数据稀缺时保持稳定性。SinBasis网络因此提供了一个轻量、基于物理的深度学习方法，适用于所有波形成像模态。
引用
@article{arxiv.2505.06275,
title = {SinBasis Networks: Matrix-Equivalent Feature Extraction for Wave-Like Optical Spectrograms},
author = {Yuzhou Zhu and Zheng Zhang and Ruyi Zhang and Liang Zhou},
journal= {arXiv preprint arXiv:2505.06275},
year = {2026}
}
备注
AAAI26 Poster