训练即错过：基于弱监督与预训练嵌入的交互式模型迭代
机器学习
2020-06-30 v1 机器学习
摘要
我们的目标是使机器学习系统能够被交互式地训练。这需要模型表现良好且训练快速，而无需大量人工标注数据。我们通过借鉴弱监督（WS）在这一方向上迈出一步，其中模型可以用含噪信号源而非人工标注数据进行训练。但 WS 依赖于训练下游深度网络以泛化到未见过的数据点，这可能需要数小时或数天。预训练嵌入可以消除这一要求。我们不像迁移学习（TL）中那样将嵌入用作特征（TL 需要微调以达到高性能），而是用它们来定义数据上的距离函数，并将 WS 源投票扩展到邻近点。理论上，我们提供了一系列结果，研究性能如何随源覆盖率、源准确率和嵌入空间中标签分布的 Lipschitz 性质的变化而缩放，并将此速率与无扩展的标准 WS 和无微调的 TL 进行比较。在六个基准 NLP 和视频任务上，我们的方法比无扩展的 WS 高 4.1 分，比无微调的 TL 高 12.8 分，比传统监督的深度网络高 13.1 分，并且与最先进的弱监督深度网络的差距在 0.7 分以内——所有这些均在不到半秒的训练时间内完成。
引用
@article{arxiv.2006.15168,
title = {Train and You'll Miss It: Interactive Model Iteration with Weak Supervision and Pre-Trained Embeddings},
author = {Mayee F. Chen and Daniel Y. Fu and Frederic Sala and Sen Wu and Ravi Teja Mullapudi and Fait Poms and Kayvon Fatahalian and Christopher Ré},
journal= {arXiv preprint arXiv:2006.15168},
year = {2020}
}