基于生成预文本的神经网络结构编码信息流学习

深度学习模型在特定任务和数据集上的性能高度依赖其神经网络结构，这激励了大量研究旨在快速准确地识别适合目标任务和数据集的神经网络结构。为实现此目标，研究者使用机器学习模型——通常是神经网络结构编码器——来预测神经网络结构的性能。许多最先进的编码器旨在捕捉神经网络结构中信息的流动，这反映了信息如何通过前向传播和反向传播移动，具体通过特殊模型结构实现。然而，由于其复杂的结构，这些基于流动的编码器处理神经网络结构的速度显著低于简单编码器，构成了显著的实际挑战。为此，我们提出 FGP，这是一种用于神经网络结构编码的新型预训练方法，该方法在不要求特殊模型结构的情况下训练编码器以捕捉信息流。FGP 训练一个编码器来重建我们提出的神经网络结构信息流的流动 surrogate。我们的实验表明，FGP 将编码器性能提升了最高可达监督学习训练的编码器性能的 106%。