通过任务冲突校准探索自监督学习的可迁移性
机器学习
2025-11-19 v1 计算机视觉与模式识别
摘要
本文探讨了自监督学习（SSL）的可迁移性，聚焦两个核心问题：（i）SSL 的表示可迁移性如何，（ii）如何有效建模这种可迁移性。可迁移性被定义为从一个任务中学习的表征能否支持另一个任务的目标。灵感来自元学习范式，我们在每个训练 batch 中构建多个 SSL 任务，以支持显式建模可迁移性。基于经验证据和因果分析，我们发现尽管引入任务级信息可提升可迁移性，但仍受任务冲突的制约。为此，我们提出了一种任务冲突校准（TC）方法以缓解任务冲突的影响。具体而言，TC首先将 batch 拆分为多个 SSL 任务，以融入任务级信息。随后，它使用因子提取网络为所有任务生成因果生成因子，并使用权重提取网络为每个样本分配专属权重，借助数据重建、正交性和稀疏性确保方法有效。最后，TC 在 SSL 训练期间校准样本表征，并通过两阶段双层优化框架集成到流程中，以提升所学表征的可迁移性。在多个下游任务上的实验结果表明，我们的方法在提升 SSL 模型的可迁移性方面 consistently 有效。
引用
@article{arxiv.2511.13787,
title = {Exploring Transferability of Self-Supervised Learning by Task Conflict Calibration},
author = {Huijie Guo and Jingyao Wang and Peizheng Guo and Xingchen Shen and Changwen Zheng and Wenwen Qiang},
journal= {arXiv preprint arXiv:2511.13787},
year = {2025}
}