面向多目标图自监督学习的反馈控制
机器学习
2026-02-06 v1
摘要
在没有目标之间常规冲突的情况下，如何协调图上的多任务自监督学习？图自监督学习（SSL）提供了日益增长的预文本目标工具箱：互信息、重建、对比学习；但由于目标干扰和训练不稳定，将其可靠组合仍然是一个挑战。大多数多预文本管线采用逐更新混合，迫使每个参数更新都必须是一种妥协，导致三个失败模式： disagreement（冲突引起的负向迁移）、drift（目标效用非平稳）和drought（被忽视目标的隐藏饥饿）。我们认为，协调本质上是一个时间分配问题：决定每个目标何时获得优化预算，而不仅仅是如何加权他们。我们引入了ControlG，一个基于控制理论的框架，将多目标图SSL重新诠释为通过估计每个目标的难度和两两敌对关系、通过Pareto感知的log超体积规划器规划目标预算，并使用比例-积分-微分（PID）控制器进行调度。 在9个数据集上，ControlG始终优于最先进的基线方法，同时产生一个可审计的调度方案，揭示哪些目标驱动了学习。
引用
@article{arxiv.2602.05036,
title = {Feedback Control for Multi-Objective Graph Self-Supervision},
author = {Karish Grover and Theodore Vasiloudis and Han Xie and Sixing Lu and Xiang Song and Christos Faloutsos},
journal= {arXiv preprint arXiv:2602.05036},
year = {2026}
}