Robust-Multi-Task Gradient Boosting
机器学习
2025-12-09 v3
摘要
多任务学习 (MTL) 在利用跨任务共享信息以提升泛化性能方面已显示出有效性。MTL 假设任务之间存在可被利用的相似性，从而可提升性能。此外，梯度提升算法因其在各种学习问题中的卓越表现而备受推崇，主要源于其能够聚焦于难以学习的实例并逐步减少残差误差。这使得其成为学习多任务问题的有前景的methods。然而，现实中的 MTL 场景常涉及不良对齐的任务（即称为异常或对抗性任务），这些任务与其他任务缺乏有益的相似性，反而可能恶化整体模型的性能。为克服此挑战，我们提出了 Robust-Multi-Task Gradient Boosting (R-MTGB)，一种新颖的梯度提升框架，显式建模并适应训练期间的任务异构性。R-MTGB 将学习过程结构化为三个顺序模块：（1）学习共享模式，（2）通过带正则化参数将任务划分为异常与非异常任务，（3）微调任务特定的预测器。该架构使 R-MTGB 能够自动检测并惩罚异常任务，同时促进相关任务之间有效的知识迁移。我们的方法将这些机制无缝集成到梯度提升中，允许在不牺牲准确性的前提下，对含有噪声或对抗性任务的模型进行稳健处理。大量实验在合成基准和真实数据集上表明，我们的方法成功地隔离了异常任务，实现了知识迁移，并在每个任务上均显著降低了预测误差，同时在所有任务上实现了整体性能提升。这些结果凸显了 R-MTGB 在具挑战性 MTL 环境中具备的鲁棒性、适应性和可靠收敛性。
引用
@article{arxiv.2507.11411,
title = {Robust-Multi-Task Gradient Boosting},
author = {Seyedsaman Emami and Gonzalo Martínez-Muñoz and Daniel Hernández-Lobato},
journal= {arXiv preprint arXiv:2507.11411},
year = {2025}
}