生成式流诱导神经网络架构搜索：面向小波神经算子发现最优架构
机器学习
2024-05-14 v1
摘要
我们提出一种生成式流诱导的神经网络架构搜索算法。该方法使用简单的前馈神经网络学习随机策略，以生成一系列架构超参数，使得生成的状态与终态奖励成比例。我们在小波神经算子（WNO）上演示了所提搜索算法的有效性，在该算法中，我们学习策略以生成一系列超参数，如小波基函数和激活算子，用于小波积分块。虽然生成的小波基函数和激活序列轨迹被视为流，但策略通过最小化轨迹中每个状态与最大化终态奖励之间的流违规来学习。在终态，我们同步训练 WNO 以引导搜索。我们采用负 WNO 损失在验证数据集上的指数作为奖励函数。虽然基于网格搜索的神经网络架构生成算法会预见每一种组合，但所提框架基于终态的正奖励生成最可能的序列，从而降低探索时间。相对于需要完整episodic训练才能获得奖励的强化学习方案，所提算法按序生成超参数轨迹。通过四个流体力学相关问题，我们说明所学策略能够抽样出神经算子的最佳性能架构，从而提升原始小波神经算子的性能。
引用
@article{arxiv.2405.06910,
title = {Generative flow induced neural architecture search: Towards discovering optimal architecture in wavelet neural operator},
author = {Hartej Soin and Tapas Tripura and Souvik Chakraborty},
journal= {arXiv preprint arXiv:2405.06910},
year = {2024}
}