对数时间在线多类预测

我们研究了类别数 (k) 极大的多类分类问题，旨在获得训练和测试时间复杂度关于类别数呈对数级的方法。我们开发了自顶向下的树构建方法，以构造对数深度的树。在理论层面，我们提出了一种新的目标函数，该函数在树的每个节点处进行优化，并创建既纯净（就类别标签而言）又平衡的数据动态划分。我们证明，在有利条件下，可以构造出具有低标签熵叶节点的对数深度树。然而，节点处的目标函数在计算上难以优化。我们通过一种新的在线决策树构建过程来解决这一实证问题。实验表明，该在线算法相比更常见的对数训练时间方法，能快速降低测试误差，使其成为计算受限的大 k 应用场景中一种可行的方法。