小波逻辑机：在无神经网络的光谱域中学习与推理
机器学习
2025-07-29 v1
摘要
我们引入了一个完全基于频谱的学习框架，通过完全在小波域中操作来消除传统的神经层。该模型将可学习的非线性变换（包括软阈值和增益相位调制）直接应用于小波系数。它还包含一个可微分的小波基选择机制，能够使用Haar、Daubechies和双正交小波等族进行自适应处理。该模型在PyTorch中实现并具有完整的3D支持，保持了没有空间卷积或注意力机制的频谱流水线。在合成3D去噪任务和来自GLUE基准测试的自然语言任务（包括SST-2情感分类）上，该模型达到了89.3%的准确率，接近4层Transformer基线（90.1%），同时使用的参数减少了72%，峰值内存减少了58%。由于频谱稀疏性先验，观察到更快的早期收敛。与自注意力的二次复杂度和Transformer中的大矩阵乘法相比，我们的方法使用线性时间小波变换和逐点非线性，显著降低了推理成本。这产生了一种紧凑、可解释且高效的神经模型替代方案。我们的结果支持了有原则的频谱学习在视觉和语言任务中的可行性，为没有过度参数化架构的模型设计提供了新方向。
引用
@article{arxiv.2507.19514,
title = {Wavelet Logic Machines: Learning and Reasoning in the Spectral Domain Without Neural Networks},
author = {Andrew Kiruluta},
journal= {arXiv preprint arXiv:2507.19514},
year = {2025}
}