巩固基础：融合模型嵌入与弱监督
机器学习
2022-08-02 v2 机器学习
摘要
基础模型提供了一种令人振奋的新范式，可利用开箱即用的嵌入和少量标注样本构建模型。然而，在没有标注数据的情况下如何最佳地应用基础模型尚不清楚。一种潜在方法是将基础模型与弱监督框架融合，后者使用弱标签源——预训练模型、启发式规则、众包工作者——来构造伪标签。挑战在于构建一种能最佳利用基础模型和弱源中可用信号的组合。我们提出 Liger，一种利用基础模型嵌入改进现有弱监督技术两个关键要素的组合。首先，我们通过划分嵌入空间并学习逐分区的源准确率，产生更精细的弱源质量估计。其次，我们通过在嵌入空间中扩展源投票来改进源覆盖率。尽管基础模型具有黑盒性质，我们证明了刻画我们方法如何提升性能的结果，并表明提升幅度随嵌入空间中标签分布的平滑性而缩放。在六个基准 NLP 和视频任务上，Liger 优于普通弱监督 14.1 分，优于弱监督 kNN 和适配器 11.8 分，优于由传统手工标签监督的 kNN 和适配器 7.2 分。
引用
@article{arxiv.2203.13270,
title = {Shoring Up the Foundations: Fusing Model Embeddings and Weak Supervision},
author = {Mayee F. Chen and Daniel Y. Fu and Dyah Adila and Michael Zhang and Frederic Sala and Kayvon Fatahalian and Christopher Ré},
journal= {arXiv preprint arXiv:2203.13270},
year = {2022}
}
备注
UAI 2022 Camera Ready