基于等距逼近定理的难负样本挖掘的数学论证
机器学习
2022-10-21 v1
摘要
在深度度量学习中，三元组损失（Triplet Loss）已成为学习许多计算机视觉与自然语言处理任务（如人脸识别、目标检测与视觉-语义嵌入）的流行方法。困扰三元组损失的一个问题是网络坍缩，即网络将所有数据的嵌入投影到单一点的不良现象。研究者主要通过使用三元组挖掘策略解决该问题。尽管难负样本挖掘是这些策略中最有效的，现有表述缺乏对其经验成功的强理论依据。在本文中，我们利用等距逼近的数学理论，证明由难负样本挖掘采样的三元组损失与一个优化问题等价，该优化问题最小化神经网络与其理想对应函数之间的类 Hausdorff 距离。这为难负样本挖掘的经验效能提供了理论依据。此外，我们对等距逼近定理的新颖应用为未来避免网络坍缩的难负样本挖掘形式奠定了基础。我们的理论也可扩展至分析其他基于欧氏空间的度量学习方法，如 Ladder Loss 或对比学习（Contrastive Learning）。
引用
@article{arxiv.2210.11173,
title = {Mathematical Justification of Hard Negative Mining via Isometric Approximation Theorem},
author = {Albert Xu and Jhih-Yi Hsieh and Bhaskar Vundurthy and Eliana Cohen and Howie Choset and Lu Li},
journal= {arXiv preprint arXiv:2210.11173},
year = {2022}
}
备注
9 pages, 6 figures, submitted to AAAI 2023