预训练与自训练方法的比较研究

预训练和自训练是半监督学习的两种方法。虽然已探讨了预训练与自训练之间的比较，但以往的研究导致了令人困惑的发现：在计算机视觉中，某些任务上自训练优于预训练；而在自然语言处理中，某些任务上则恰恰相反，且处于不可比的设置条件下。我们提出了一种集成方法，进行彻底且可比的经验研究，将预训练、自训练和微调的所有可行训练范式组合在一致的基础设置下（类似于数据增强）。我们在六个数据集上进行实验，涉及四种数据增强方式以及情感分析和自然语言推理任务中的不平衡数据。我们的发现确认，预训练和微调范式在整体性能上表现最佳。此外，自训练在与半监督预训练结合时并无额外收益。