SoftStep：学习稀疏相似性赋能基于深度邻居的回归
机器学习
2025-12-05 v2 人工智能
摘要
当输入与目标之间的关系表现出非线性、周期性或异方差性等复杂性时，基于邻居的方法是表格数据线性预测的自然替代方案。然而，在非结构化数据的深度学习中，非参数的基于邻居的方法很少被用来替代简单的线性头。这主要是因为配备线性回归头的系统能够协同学习内部表示与线性头的参数。为了在神经网络中释放基于邻居方法的全部潜力，我们引入了 SoftStep，这是一个直接从数据中学习稀疏的实例级相似性度量的参数化模块。当与现有的基于邻居的方法集成时，SoftStep 使得回归模型在多种架构、领域和训练场景中始终优于线性头。我们专注于回归任务，在理论上表明，具有均方误差目标的基于邻居的预测构成了一种度量学习算法，能够诱导结构良好的嵌入空间。然后，我们从分析和实证角度证明，当与 SoftStep 引入的稀疏的实例级相似性度量相结合时，这种表示结构能转化为卓越的性能。除了回归之外，SoftStep 还是一种在深度神经网络中学习实例级相似性的通用方法，对注意力机制、度量学习、表示对齐及相关范式具有广泛的适用性。
引用
@article{arxiv.2506.08139,
title = {SoftStep: Learning Sparse Similarity Powers Deep Neighbor-Based Regression},
author = {Aviad Susman and Baihan Lin and Mayte Suárez-Fariñas and Joseph T Colonel},
journal= {arXiv preprint arXiv:2506.08139},
year = {2025}
}