离散函数基与卷积神经网络

我们讨论“离散函数基”的概念，特别关注由勒让德延迟网络（LDN）导出的离散基。我们刻画了这些基在延迟计算任务中以及作为神经网络中固定时间卷积时的性能。使用固定时间卷积的网络在概念上简单，并在 psMNIST 等任务中取得最先进的结果。主要结果（1）我们提出了一种数值稳定的算法，用于在 O(qN) 内构造 DLOP 矩阵 L。（2）勒让德延迟网络（LDN）可用于形成离散函数基，其基变换矩阵 H 在 O(qN) 内完成。（3）若 q < 300，在线与 LDN 基卷积比与任意 FIR 滤波器卷积具有更低的运行时间复杂度。（4）某些基（Haar、余弦、傅里叶）存在滑动窗变换，且每个样本需要 O(q) 次操作和 O(N) 内存。（5）可为许多离散函数基构造类似于 LDN 的 LTI 系统；LDN 系统在具有有限冲激响应方面更优。（6）我们通过从这些基表示的信号中线性解码延迟来比较离散函数基。结果如图 20 所示。总体而言，解码误差相近。LDN 基误差最大，傅里叶和余弦基误差最小。（7）傅里叶和余弦基对所有延迟具有均匀的解码误差。若信号在傅里叶域中能良好表示，应使用这些基。（8）神经网络实验表明，固定时间卷积可优于学习到的卷积。基的选择并不关键；我们大致观察到与延迟任务中相同的性能趋势。（9）若 O(q) 欧拉更新可行且低 O(q) 内存需求重要，则 LDN 是小规模 q 的正确选择。