图像即权重矩阵：通过突触学习规则进行序列图像生成

关于快速权重编程器的工作已证明，基于键/值外积的学习规则可由另一个神经网络或自身 sequentially 生成神经网络(NN)的权重矩阵(WM)。然而，权重生成步骤通常无法被人直观可视地理解，因为存储在神经网络权重矩阵中的内容本身不可视。此处我们将相同原理应用于生成自然图像。所得到的快速权重绘制器(FPA)学会执行一系列 delta 学习规则，以自创键与值的外积之和逐秩（一次一个秩）序列生成图像，仿佛每幅图像都是某个神经网络的权重矩阵。我们在生成对抗网络(GAN)框架下训练 FPA，并在多个图像数据集上评估。我们展示了这些通用学习规则如何在无任何显式图像归纳偏置的情况下生成具有可观视觉质量的图像。尽管其性能大幅落后于专用的 state-of-the-art 图像生成器，我们的方法可可视化突触学习规则如何迭代产生复杂连接模式，从而生成人类可理解的有意义图像。最后，我们还展示在 FPA 输出端添加一个卷积 U-Net（现流行于扩散模型中）可学习对 FPA 生成图像的一步式“去噪”以提升其质量。我们的代码已公开。