贝叶斯邻域成分分析

在特征空间中学习良好的距离度量有可能提升KNN分类器的性能，并在许多现实应用中发挥作用。然而，许多度量学习算法基于二次优化问题的点估计，这耗时、易过拟合，且缺乏处理参数不确定性的自然机制——这一重要特性在训练集小和/或含噪时尤为有用。为解决这些问题，我们提出一种新颖的贝叶斯度量学习方法，称为贝叶斯NCA（Bayesian NCA），它基于著名的邻域成分分析（Neighbourhood Component Analysis）方法，其中度量后验由观测的局部标签一致性约束刻画，这些约束通过相似图而非独立的成对约束进行编码。为高效贝叶斯优化，我们探究了原始NCA目标对数似然的变分下界。在多个公开数据集上的实验表明，所提方法能够从小规模数据集和/或标签含错具有挑战性的训练集中学习鲁棒度量。该方法还被证明优于先前成对约束的贝叶斯度量学习方法。