无监督预文本任务在半/自监督学习中对目标任务性能的定量估计
机器学习
2026-04-09 v2 人工智能
摘要
无标签数据在半/自监督学习(SSL)中的有效性取决于特定场景下的适当假设，从而实现选择有益的无监督预文本任务。然而，现有研究对SSL中的假设关注不足，导致实际情况下，无监督预文本任务与目标情景之间的兼容性只能在训练和验证后才能评估。本文聚焦于无监督预文本任务所基于的假设，探讨了在低成本下预估无监督预文本任务影响的可行性。通过严格的推导，我们表明，无监督预文本任务对目标性能的影响取决于三个因素：相对于模型的假设可学习性、相对于数据的假设可靠性以及相对于目标的假设完整性。基于此理论，我们提出一种低成本估计方法，可对实际目标性能进行定量估计。我们构建了一个包含100多个预文本任务的基准，演示了估计性能与通过大规模训练和验证获得的实际性能高度相关。
引用
@article{arxiv.2508.07299,
title = {Quantitative Estimation of Target Task Performance from Unsupervised Pretext Task in Semi/Self-Supervised Learning},
author = {Lin-Han Jia and Si-Yu Han and Wen-Chao Hu and Jie-Jing Shao and Wen-Da Wei and Zhi Zhou and Lan-Zhe Guo and Yu-Feng Li},
journal= {arXiv preprint arXiv:2508.07299},
year = {2026}
}