不同的深度度量学习损失函数是否导致相似的学习特征？
计算机视觉与模式识别
2022-05-06 v1 人工智能
摘要
近期研究表明，在许多相同的实验条件下，多种深度度量学习损失函数表现非常相似。这一意外结果的一个潜在原因是所有损失都让网络关注相似的图像区域或属性。本文中，我们通过对使用不同损失函数训练的相同模型架构所学习的视觉特征进行提取与比较的两步分析来研究该问题：首先，我们通过关联相同输入图像的显著性图，在像素层面上比较所学特征；其次，我们比较若干图像属性（如物体颜色或光照）的嵌入聚类。为了独立控制这些属性，我们生成了类似于Cars196数据集中图像的照片级真实感3D汽车渲染图。在我们的分析中，我们比较了近期一项研究中的14个预训练模型，发现尽管所有模型表现相似，不同的损失函数可引导模型学习不同的特征。我们尤其发现基于分类与基于排序的损失之间存在差异。我们的分析还表明，一些看似无关的属性也会对最终嵌入产生显著影响。我们鼓励深度度量学习领域的研究者使用我们的方法，以深入了解其提出方法所学到的特征。
引用
@article{arxiv.2205.02698,
title = {Do Different Deep Metric Learning Losses Lead to Similar Learned Features?},
author = {Konstantin Kobs and Michael Steininger and Andrzej Dulny and Andreas Hotho},
journal= {arXiv preprint arXiv:2205.02698},
year = {2022}
}
备注
Published at ICCV 2021