中文

Shadow 损失:面向高效训练的内存线性深度度量学习

计算机视觉与模式识别 2026-01-21 v2

摘要

深度度量学习目标(如三元组损失)需要存储并比较高维嵌入,使得每批次的损失缓冲随 O(SD)O(S\cdot D) 规模增长,其中 SS 为批次中样本数,DD 为特征维度,从而限制了在内存受限硬件上的训练。我们提出 Shadow Loss,一种无代理、无参数的目标函数,它通过沿锚点方向的标量投影度量相似性,在保持三元组结构的同时将损失专用缓冲从 O(SD)O(S\cdot D) 降至 O(S)O(S)。我们分析了梯度,给出了 Lipschitz 连续性界,并表明 Shadow Loss 惩罚平凡坍缩以实现稳定优化。在细粒度检索(CUB-200、CARS196)、大规模商品检索(Stanford Online Products、In-Shop Clothes)以及标准/医学基准(CIFAR-10/100、Tiny-ImageNet、HAM-10K、ODIR-5K)上,Shadow Loss 持续优于近期目标函数(Triplet、Soft-Margin Triplet、Angular Triplet、SoftTriple、Multi-Similarity)。在相同骨干网络与挖掘策略下,它还能以约 1.5-2×1.5\text{-}2\times 更少的轮次收敛。此外,它以更高的轮廓系数改善了表示的分离性。该设计架构无关且向量化以实现高效实现。通过解耦判别力与嵌入维度并重用批次点积,Shadow Loss 实现了内存线性训练与更快收敛,使深度度量学习在边缘与大规模系统上均切实可行。

关键词

引用

@article{arxiv.2311.14012,
  title  = {Shadow loss: Memory-linear deep metric learning for efficient training},
  author = {Alif Elham Khan and Mohammad Junayed Hasan and Humayra Anjum and Nabeel Mohammed},
  journal= {arXiv preprint arXiv:2311.14012},
  year   = {2026}
}