Fast and Three-rious：利用三元方法加速弱监督
机器学习
2020-07-16 v2 机器学习
摘要
弱监督是一种不依赖真实标注而构建机器学习模型的流行方法。相反，它通过估计多个噪声标注源（如启发式规则、众包工人）的准确率来生成概率性训练标签。现有方法使用潜变量估计对噪声源建模，但这些方法计算开销大，在数据量上呈超线性扩展。本工作中，我们证明，对于一类高度适用于弱监督的潜变量模型，可求得模型参数的闭式解，从而无需随机梯度下降（SGD）等迭代解法。我们利用该见解构建了 FlyingSquid，一个比先前弱监督方法快数个数量级且所需假设更少的弱监督框架。特别地，我们证明了泛化误差界，而无需假设潜变量模型能精确参数化底层数据分布。在经验上，我们在基准弱监督数据集上验证了 FlyingSquid，发现其在无需调参 SGD 流程的情况下取得了与先前方法相同或更高质量的结果，平均快 170 倍地恢复模型参数，并支持了新型视频分析与在线学习应用。
引用
@article{arxiv.2002.11955,
title = {Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods},
author = {Daniel Y. Fu and Mayee F. Chen and Frederic Sala and Sarah M. Hooper and Kayvon Fatahalian and Christopher Ré},
journal= {arXiv preprint arXiv:2002.11955},
year = {2020}
}