深度度量学习中分布外偏移下泛化的表征
机器学习
2021-11-30 v2 计算机视觉与模式识别
摘要
深度度量学习（DML）旨在找到适用于对先验未知测试分布进行零样本迁移的表示。然而，常见的评估协议仅测试单一、固定的数据划分，其中训练类与测试类被随机分配。更现实的评估应考虑具有潜在不同程度和难度的广泛分布偏移谱。在本工作中，我们系统地构建难度递增的训练-测试划分，并提出 ooDML 基准以表征 DML 中分布外偏移下的泛化。ooDML 旨在探查在更具挑战性、更多样的训练到测试分布偏移上的泛化性能。基于我们的新基准，我们对最先进的 DML 方法进行了详尽的实证分析。我们发现，虽然泛化倾向随难度持续退化，但某些方法在分布偏移增大时更能保持性能。最后，我们提出少样本 DML 作为一种高效方式，以一致地改善针对 ooDML 中未知测试偏移的泛化。代码见：https://github.com/CompVis/Characterizing_Generalization_in_DML。
引用
@article{arxiv.2107.09562,
title = {Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning},
author = {Timo Milbich and Karsten Roth and Samarth Sinha and Ludwig Schmidt and Marzyeh Ghassemi and Björn Ommer},
journal= {arXiv preprint arXiv:2107.09562},
year = {2021}
}
备注
35th Conference on Neural Information Processing Systems (NeurIPS 2021)