用于降维与特征提取的梯度提升映射

监督学习中的一个基本问题是寻找一组好的特征或距离度量。如果新的特征集具有较低的维度，并且可以通过对原始数据的简单变换获得，它们就能使模型易于理解、减少过拟合，甚至有助于检测分布漂移。我们提出了一种监督降维方法梯度提升映射 (GBMAP)，其中弱学习器——定义为单层感知机——的输出定义了嵌入。我们表明，该嵌入坐标为监督学习任务提供了更好的特征，使得简单的线性模型能够与 SOTA 回归器和分类器相媲美。我们还利用该嵌入寻找点之间有原则的距离度量。这些特征和距离度量会自动忽略与监督学习任务无关的方向。我们还表明，我们可以可靠地检测到可能导致较大回归或分类误差的分布外数据点。GBMAP 速度快，对于具有百万数据点或数百个特征的数据集可在几秒内完成。作为额外优势，GBMAP 提供了与 SOTA 监督学习方法相当的回归和分类性能。