促进正交性的距离度量学习：凸松弛与理论分析
机器学习
2018-02-19 v1 机器学习
摘要
距离度量学习（DML）从标注为“相似”与“不相似”的数据对中学习距离度量，被广泛应用。近期若干工作研究促进正交性的正则化（OPR），其鼓励 DML 中的投影向量接近正交，以实现三种效果：（1）高平衡性——在频繁与罕见类上均取得可比性能；（2）高紧凑性——使用少量投影向量获得“良好”度量；（3）良好泛化性——缓解对训练数据的过拟合。尽管展现出有前景的结果，这些方法存在三个问题。首先，它们涉及求解非凸优化问题，达到全局最优为 NP-hard。其次，缺乏关于 OPR 为何能带来平衡性的理论理解。第三，当前对 OPR 的泛化误差分析并非直接针对正则化项。本文通过以下方式解决这三个问题：（1）寻求原始非凸问题的凸松弛以保证可达到全局最优；（2）对 OPR 促进平衡性的能力提供形式化分析；（3）提供直接揭示 OPR 与泛化性能关系的理论分析。在多个数据集上的实验表明，相较于非凸方法，我们的凸方法在促进平衡性、紧凑性与泛化性方面更有效，且计算更高效。
引用
@article{arxiv.1802.06014,
title = {Orthogonality-Promoting Distance Metric Learning: Convex Relaxation and Theoretical Analysis},
author = {Pengtao Xie and Wei Wu and Yichen Zhu and Eric P. Xing},
journal= {arXiv preprint arXiv:1802.06014},
year = {2018}
}