少而精：基于分布间隔的序数嵌入泛化增强
机器学习
2018-12-06 v1 机器学习
摘要
在缺乏先验知识的情况下，序数嵌入方法通过一组四元组比较在低维 Euclidean 空间中为各项获得新的表示。这些序数比较通常来自人类标注者，充足的比较促使经典方法成功。然而，收集大量标注数据是一项艰巨任务，且现有工作大多很少关注样本不足时的泛化能力。同时，大间隔理论的最新进展揭示，相较于仅最大化最小间隔，刻画间隔分布的间隔均值与方差对整体泛化性能更为关键。为解决训练样本不足的问题，我们提出一种用于序数嵌入的间隔分布学习范式，称为基于分布间隔的序数嵌入（DMOE）。具体而言，我们首先定义序数嵌入问题的间隔。其次，我们构造一个简洁的目标函数，其避免直接最大化间隔均值与最小化间隔方差，却展现类似效果。此外，定制了一种基于增广拉格朗日乘子的算法以有效求解 DMOE 的最优解。在模拟与真实世界数据集上的实验研究展示了所提算法的有效性。
引用
@article{arxiv.1812.01939,
title = {Less but Better: Generalization Enhancement of Ordinal Embedding via Distributional Margin},
author = {Ke Ma and Qianqian Xu and Zhiyong Yang and Xiaochun Cao},
journal= {arXiv preprint arXiv:1812.01939},
year = {2018}
}
备注
Accepted by AAAI 2019