基于参数高效迁移学习的跨多样数据分布统一距离度量学习
计算机视觉与模式识别
2025-01-22 v2 人工智能
机器学习
摘要
度量学习中的常见做法是为每个数据集训练和测试一个嵌入模型。这种特定于数据集的方法无法模拟涉及多个异构数据分布的真实场景。对此，我们探索一种新的度量学习范式，称为统一度量学习（UML），其学习一个能够捕捉多个数据分布间关系的统一距离度量。UML 带来了新的挑战，例如数据分布不平衡以及对主导分布的偏置。这些问题导致标准度量学习方法无法学习统一度量。为应对这些挑战，我们提出参数高效统一度量学习（PUMA），其由一个预训练冻结模型和两个附加模块——随机适配器与提示池——组成。这些模块能够捕捉数据集特定知识，同时避免对主导分布的偏置。此外，我们编译了一个包含总计 8 个不同数据集的新统一度量学习基准。PUMA 在使用约 69 倍更少可训练参数的同时，优于最先进的特定于数据集的模型。
引用
@article{arxiv.2309.08944,
title = {Learning Unified Distance Metric Across Diverse Data Distributions with Parameter-Efficient Transfer Learning},
author = {Sungyeon Kim and Donghyun Kim and Suha Kwak},
journal= {arXiv preprint arXiv:2309.08944},
year = {2025}
}
备注
Accepted to WACV 2025