在降维中保持向量空间特性：一种关系保持损失框架
机器学习
2025-09-03 v1 人工智能
摘要
降维可能会扭曲正交性和线性无关性等向量空间特性，而这些特性对于跨模态检索、聚类和分类等任务至关重要。我们提出了一种关系保持损失（RPL），该损失函数通过最小化高维数据的关系矩阵（例如，格拉姆矩阵或余弦相似度矩阵）与其低维嵌入之间的关系矩阵之间的差异来保持这些特性。RPL 用于训练神经网络进行非线性投影，并得到由矩阵扰动理论导出的误差界的支持。初步实验表明，RPL 在降低嵌入维度的同时，很大程度上保持了下游任务的性能，这很可能是因为它保留了关键的向量空间特性。虽然我们在此描述了 RPL 在降维中的应用，但这种损失函数也可以更广泛地应用，例如跨域对齐与迁移学习、知识蒸馏、公平性与不变性、去中心化、图与流形学习以及联邦学习，在这些场景中，分布式嵌入必须保持几何一致性。
引用
@article{arxiv.2509.01198,
title = {Preserving Vector Space Properties in Dimensionality Reduction: A Relationship Preserving Loss Framework},
author = {Eddi Weinwurm and Alexander Kovalenko},
journal= {arXiv preprint arXiv:2509.01198},
year = {2025}
}