上下文中的半监督学习
机器学习
2026-02-02 v2
摘要
近年来，人们对Transformer的上下文学习（ICL）能力产生了浓厚兴趣，但大多数理论聚焦于具有显式标签对的监督设置。在实践中，即使标签稀疏或缺失，Transformer通常表现良好，这表明未标记的上下文演示中存在关键结构。我们引入并研究了上下文半监督学习（IC-SSL），其中少量标记示例伴随大量未标记点，并表明Transformer可以利用未标记的上下文学习一种稳健的、上下文相关的表示。这种表示能够实现准确预测，并在低标签条件下显著提升性能，为Transformer如何在ICL框架内利用未标记上下文进行表示学习提供了基础性见解。
引用
@article{arxiv.2512.15934,
title = {In-Context Semi-Supervised Learning},
author = {Jiashuo Fan and Paul Rosu and Aaron T. Wang and Zeyu Michael Li and Lawrence Carin and Xiang Cheng},
journal= {arXiv preprint arXiv:2512.15934},
year = {2026}
}