基于能量模型的领域无关半监督学习的实证研究：联合训练与预训练
机器学习
2020-10-27 v1
摘要
一类近期的半监督学习（SSL）方法严重依赖领域特定的数据增强。相比之下，生成式 SSL 方法通过联合训练或预训练基于生成模型进行无监督学习，从领域无关的角度看更具吸引力，因为它们本质上不需要数据增强。联合训练估计观测与标签的联合分布，而预训练仅针对观测进行。近来，能量模型（EBMs）在生成建模中取得了有前景的结果。通过 EBMs 进行 SSL 的联合训练已在多种数据模态上以令人鼓舞的结果得到探索。在本文中，我们做出两点贡献。首先，我们探索通过 EBMs 进行 SSL 的预训练，并将其与联合训练进行比较。其次，我们在图像分类和自然语言标注领域上进行了一系列实验，以真实呈现基于 EBM 的 SSL 方法的整体性能图景。研究发现，联合训练 EBMs 以微小但近乎一致的优势优于预训练 EBMs。
引用
@article{arxiv.2010.13116,
title = {An empirical study of domain-agnostic semi-supervised learning via energy-based models: joint-training and pre-training},
author = {Yunfu Song and Huahuan Zheng and Zhijian Ou},
journal= {arXiv preprint arXiv:2010.13116},
year = {2020}
}