解决扩散模型中的负迁移问题
计算机视觉与模式识别
2024-01-02 v3 人工智能
机器学习
摘要
基于扩散的生成模型已在多个领域取得显著成功。其在去噪任务上训练一个共享模型，同时涵盖不同噪声水平，这是一种多任务学习（MTL）形式。然而，从 MTL 视角分析和改进扩散模型仍鲜有探索。特别地，MTL 有时会引发众所周知的负迁移现象，即由于任务间冲突导致某些任务性能下降。本文首先旨在从 MTL 立场分析扩散训练，提出两项关键观察：（O1）去噪任务间的任务亲和度随噪声水平差距增大而减弱；（O2）负迁移即便在扩散训练中也会产生。基于这些观察，我们旨在通过缓解负迁移来增强扩散训练。为此，我们提出利用现有 MTL 方法，但海量去噪任务的存在使得计算必要的每任务损失或梯度在计算上代价高昂。为应对该挑战，我们提出将去噪任务聚类为小任务簇并对其进行 MTL 方法应用。具体地，基于（O2），我们采用区间聚类以强制簇内去噪任务间的时间邻近性。我们展示了区间聚类可利用信噪比、时间步与任务亲和度作为聚类目标，通过动态规划求解。借此，我们的方法通过实现 MTL 方法的高效计算，解决了扩散模型中的负迁移问题。我们通过各类实验验证了所提聚类及其与 MTL 方法集成的有效性，展示了 1）生成的改进质量与 2）扩散模型更快的训练收敛。
引用
@article{arxiv.2306.00354,
title = {Addressing Negative Transfer in Diffusion Models},
author = {Hyojun Go and JinYoung Kim and Yunsung Lee and Seunghyun Lee and Shinhyeok Oh and Hyeongdon Moon and Seungtaek Choi},
journal= {arXiv preprint arXiv:2306.00354},
year = {2024}
}
备注
Neurips 2023. Project page: https://gohyojun15.github.io/ANT_diffusion/