用于深度序数分类的非参数单峰性约束

Soufiane Belharbi; Ismail Ben Ayed; Luke McCaffrey; Eric Granger

用于深度序数分类的非参数单峰性约束

机器学习 2020-06-15 v3 机器学习

作者: Soufiane Belharbi , Ismail Ben Ayed , Luke McCaffrey , Eric Granger

摘要

我们提出一种用于深度序数分类的新的约束优化形式，其中标签分布的单峰性通过一组对所有相邻标签对的不等式约束隐式强制实现。基于c个标签的(c-1)个约束，我们的模型是非参数的，因此比现有深度序数分类技术更灵活。与它们不同，它不将所学表示限制于施加在所有标签上的单一特定参数模型(或惩罚)。因此，它使训练能探索更大的解空间，同时免去临时选择之需并可扩展至大量标签。它可与任何标准分类损失及任何深度架构结合使用。为应对随之而来的具有挑战性的优化问题，我们基于对数障碍方法的有力扩展求解一系列无约束损失。这有效处理了相互竞争的约束并适配深度网络的标准SGD，同时避免了计算昂贵的拉格朗日对偶步骤，并大幅优于惩罚方法。此外，我们提出一种用于序数分类的新性能度量，作为衡量分布单峰性的代理，称为边序指数(Sides Order Index, SOI)。我们在多个序数分类任务的基准公开数据集上报告了与最先进方法的综合评估和比较，展示了我们的方法在标签一致性、分类准确率和可扩展性方面的优势。重要的是，与许多现有序数分类方法不同，用我们的模型强制标签一致性不会带来更高的分类错误。提供了可复现的公开PyTorch实现。(https://github.com/sbelharbi/unimodal-prob-deep-oc-free-distribution)

关键词

深度序数分类非参数约束单峰性对数障碍方法边序指数标签一致性

引用

@article{arxiv.1911.10720,
  title  = {Non-parametric Uni-modality Constraints for Deep Ordinal Classification},
  author = {Soufiane Belharbi and Ismail Ben Ayed and Luke McCaffrey and Eric Granger},
  journal= {arXiv preprint arXiv:1911.10720},
  year   = {2020}
}

备注

11 pages, 2 figures, under review

用于深度序数分类的非参数单峰性约束

摘要

关键词

引用

备注

相关论文