基于非光滑正则化的多任务图学习框架

本文考虑在多任务图上进行学习，其中每个代理人都旨�估计其自身的参数向量。尽管各代理人寻求不同的目标，但在存在任务之间关系的情况下，代理人之间的协作是有益的。为了促进任务之间的关系并增强代理人之间的协作，各种方法包括正则化，其中一种显著方法是正则化。虽然以往的多任务学习研究侧重于平滑正则化以实现图的平滑性，但本工作探索非光滑正则化技术，这些技术在鼓励图上邻接任务之间的分段常数转换方面尤其有效。我们首先建立一个全局正则化优化问题，涉及最小化各个成本总和，并以通用非光滑项为其正则化项，以促进邻接代理人任务之间的分段常数关系。基于前向-后向分割策略，我们提出一种 decentralized 学习方法，可高效求解该正则化优化问题。随后，在成本函数和 co-regularization 具备凸性假设的前提下，我们证明了所提方法在均方误差意义上以 $O(\mu)$ 的速度收敛于全局正则化成本的最优解。为了更广泛地适用并提高计算效率，我们还推导了一些常用非光滑（可能非凸）正则化器的闭式表达式，如加权 $\ell_0$ 范数、$\ell_1$ 范数和弹性网正则化。最后，我们通过仿真实验说明了该方法的理论结果和实际效果。