用扩散模型重新构想参数空间探索

将神经网络适应于新任务通常需要特定任务的微调，这非常耗时且依赖于标注数据。我们探索了一种生成式替代方案，直接从任务标识生成特定任务的参数，从而消除特定任务的训练需求。为此，我们提出使用扩散模型来学习有效特定任务参数空间的底层结构，并按需合成参数。一旦训练完成，任务条件扩散模型可以直接从任务标识符生成专门的权重。我们在三种场景下评估了该方法：为单个已见任务生成参数、为多个已见任务生成参数，以及为完全未见任务生成参数。实验表明，当参数子空间结构良好时，扩散模型可以生成准确的特定任务参数并支持多任务插值，但无法泛化到未见任务，这突显了该生成式解决方案的潜力与局限性。