LightMC：一种动态高效的多类分解算法
机器学习
2019-08-27 v1 人工智能
摘要
多类分解将多类分类问题拆分为一系列独立的二分类学习器，并通过组合它们的输出来重构多类分类结果。此类分解方法的三种广泛使用的实现是 One-Versus-All (OVA)、One-Versus-One (OVO) 和 Error-Correcting-Output-Code (ECOC)。虽然 OVA 和 OVO 十分简单，但它们都假设所有类别正交，忽略了现实世界中类别间的潜在关联。另一方面，基于 Error-Correcting-Output-Code (ECOC) 的分解方法由于融合了类别间的相关性而更受青睐。然而，现有基于 ECOC 的方法的性能高度依赖于编码矩阵与解码策略的设计。遗憾的是，发现带有适当解码策略的有效编码矩阵具有相当大的不确定性和耗时性。为解决该问题，我们提出了 LightMC，一种高效动态多类分解算法。LightMC 不使用固定的编码矩阵与解码策略，而是采用可微分解码策略，使其能够通过反向传播与基学习器的训练以迭代方式联合动态优化编码矩阵与解码策略，从而提升多类分类的整体准确率。在多个公开大规模多类分类数据集上的实证实验结果已证明 LightMC 在良好准确率与高效率两方面的有效性。
引用
@article{arxiv.1908.09362,
title = {LightMC: A Dynamic and Efficient Multiclass Decomposition Algorithm},
author = {Ziyu Liu and Guolin Ke and Jiang Bian and Tieyan Liu},
journal= {arXiv preprint arXiv:1908.09362},
year = {2019}
}
备注
10 pages, 2 figures