一对多模型的用于异步训练：一项实证分析
机器学习
2019-06-24 v1 机器学习
摘要
任何给定的分类问题都可以使用多类或一对多（One-vs-All, OVA）架构来建模。一个 OVA 系统包含与类别数量相同的 OVA 模型，提供了异步的优势，其中每个 OVA 模型可以独立于其他模型进行重新训练。这在需要考虑可扩展模型训练的场景中尤为有利（例如在工业环境中，分类系统需要进行多次且频繁的更新）。在本文中，我们对 OVA 模型的独立更新及其对整体 OVA 系统准确性的影响进行了实证分析。鉴于异步更新会导致 OVA 模型训练数据集的差异，我们首先定义了一种度量来量化数据集之间的差异。此后，以自然语言理解作为关注任务，我们估计了三个因素的影响：(i) 类别数量，(ii) 数据点数量，以及 (iii) OVA 模型间训练数据集的发散程度；对 OVA 系统准确性的影响。最后，我们在一个口语语言理解系统中观察了异步程度增加所带来的准确性影响。我们分析了结果并证实，所提出的度量在两种实验设置下均与模型性能强相关。
引用
@article{arxiv.1906.08858,
title = {One-vs-All Models for Asynchronous Training: An Empirical Analysis},
author = {Rahul Gupta and Aman Alok and Shankar Ananthakrishnan},
journal= {arXiv preprint arXiv:1906.08858},
year = {2019}
}
备注
5 pages, Accepted to Interspeech 2019