Shadow 损失:面向高效训练的内存线性深度度量学习
计算机视觉与模式识别
2026-01-21 v2
摘要
深度度量学习目标(如三元组损失)需要存储并比较高维嵌入,使得每批次的损失缓冲随 规模增长,其中 为批次中样本数, 为特征维度,从而限制了在内存受限硬件上的训练。我们提出 Shadow Loss,一种无代理、无参数的目标函数,它通过沿锚点方向的标量投影度量相似性,在保持三元组结构的同时将损失专用缓冲从 降至 。我们分析了梯度,给出了 Lipschitz 连续性界,并表明 Shadow Loss 惩罚平凡坍缩以实现稳定优化。在细粒度检索(CUB-200、CARS196)、大规模商品检索(Stanford Online Products、In-Shop Clothes)以及标准/医学基准(CIFAR-10/100、Tiny-ImageNet、HAM-10K、ODIR-5K)上,Shadow Loss 持续优于近期目标函数(Triplet、Soft-Margin Triplet、Angular Triplet、SoftTriple、Multi-Similarity)。在相同骨干网络与挖掘策略下,它还能以约 更少的轮次收敛。此外,它以更高的轮廓系数改善了表示的分离性。该设计架构无关且向量化以实现高效实现。通过解耦判别力与嵌入维度并重用批次点积,Shadow Loss 实现了内存线性训练与更快收敛,使深度度量学习在边缘与大规模系统上均切实可行。
引用
@article{arxiv.2311.14012,
title = {Shadow loss: Memory-linear deep metric learning for efficient training},
author = {Alif Elham Khan and Mohammad Junayed Hasan and Humayra Anjum and Nabeel Mohammed},
journal= {arXiv preprint arXiv:2311.14012},
year = {2026}
}