多任务学习中基于梯度的任务亲和性估计的信息论要求
机器学习
2026-04-10 v1 分子网络
摘要
多任务学习呈现出惊人的不一致性——有时联合训练显著有益，有时则主动损害性能——但该领域缺乏一种原则性框架来预测这些结果. 我们识别出梯度基方法分析所隐含的根本性且未被明确阐述的假设：任务必须共享训练实例，才能让梯度冲突揭示出真实的关系. 当任务在相同输入上测量时，梯度对齐反映共享的机制结构；当在不相交的输入上测量时，任何看似信号都会混合任务关系与分布性偏移. 我们发现，这一样本重叠要求 exhibits a sharp phase transition：低于30%的重叠，梯度-任务相关性在统计上与噪声无异；高于40%时，它们可靠地恢复已知的生物学结构. 跨多个数据集的全面验证实现了强相关性，并恢复了生物学通路组织. 标准基准测试系统atically违反这一要求——MoleculeNet的重叠率不足5%，TDC为8-14%——远低于梯度分析变得有意义的阈值. 这为七年来不一致MTL结果提供了首要原则性解释.
引用
@article{arxiv.2604.07848,
title = {Information-Theoretic Requirements for Gradient-Based Task Affinity Estimation in Multi-Task Learning},
author = {Jasper Zhang and Bryan Cheng},
journal= {arXiv preprint arXiv:2604.07848},
year = {2026}
}
备注
8 pages, 4 figures. Accepted at workshop on AI for Accelerated Materials Design, Foundation Models for Science: Real-World Impact and Science-First Design, and Generative and Experimental Perspectives for Biomolecular Design at ICLR 2026