SAMO：一种轻量级的多任务优化的锋利感知方法，结合全局-局部扰动

多任务学习 (MTL) 使联合模型能够捕捉多个任务之间的共性，从而减少计算成本并提高数据效率。然而，MTL 优化的一个主要挑战是任务冲突，即任务梯度在方向或大小上存在差异，限制了模型性能优于单任务模型。锋利感知最小化 (SAM) 在最小化任务损失的同时，同时减少损失景观的锋利度。我们的经验观察表明，SAM 在有效缓解 MTL 中的任务冲突方面效果良好。基于这些发现，我们探索将 SAM 集成到 MTL 中，但面临两个关键挑战。虽然平均损失梯度和 individual task gradients——即称为全局信息和局部信息——都对 SAM 有贡献，但如何将它们组合合并明确。此外，直接计算每个任务梯度会引入显著的计算和内存开销。为解决这些挑战，我们提出 SAMO，即一种轻量级的 **S**harpness-**A**ware **M**ulti-task **O**ptimization 方法，通过联合全局-局部扰动来实现。局部扰动仅通过前向传播近似计算，并进行层级归一化，以提高效率。在一系列多任务基准测试上进行了广泛实验，证明了该方法的有效性和效率。代码已公开于 https://github.com/OptMN-Lab/SAMO。