基于自适应采样与小批量随机梯度下降 (SGD) 的高效距离度量学习
机器学习
2013-04-05 v1
摘要
距离度量学习 (DML) 是一项重要任务，已在许多领域得到应用。DML 的高计算成本源于需要确定的变量数量巨大，以及距离度量必须是正半定 (PSD) 矩阵这一约束。尽管随机梯度下降 (SGD) 已成功应用于提高 DML 的效率，但其计算成本仍然可能很高，因为为了确保解是 PSD 矩阵，它必须在每次迭代时将更新后的距离度量投影到 PSD 锥上，这是一项昂贵的操作。我们通过在 SGD 中开发两种策略，即小批量 (mini-batch) 和自适应采样，来有效减少 SGD 中的更新次数（即投影到 PSD 锥的次数），从而应对这一挑战。我们还开发了混合方法，结合自适应采样的优势与小批量在线学习技术的优势，以进一步提高 SGD 用于 DML 的计算效率。我们证明了基于自适应采样和小批量的 DML 方法的理论保证。此外，我们进行了广泛的实证研究，以验证所提出算法在 DML 中的有效性。
引用
@article{arxiv.1304.1192,
title = {Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)},
author = {Qi Qian and Rong Jin and Jinfeng Yi and Lijun Zhang and Shenghuo Zhu},
journal= {arXiv preprint arXiv:1304.1192},
year = {2013}
}