具有涌现数据驱动典型性的无监督特征学习
计算机视觉与模式识别
2023-07-06 v1 人工智能
摘要
给定一组无任何标签的图像，我们的目标是训练一个模型，将每幅图像映射到特征空间中的一个点，使得不仅邻近性指示视觉相似性，而且其位置直接编码该图像依据数据集的典型性程度。我们的关键洞见是在双曲空间而非欧氏空间中进行无监督特征学习，其中点间距离仍反映图像相似性，但我们额外获得了用点的位置表示典型性的能力：它越接近原点，就越具典型性。后一性质仅从优化通常的度量学习目标中涌现：与许多训练实例相似的图像在欧氏空间中最好置于对应点的中心，而在双曲空间中则更靠近原点。我们提出一种在双曲空间中使用球面填充(sphere pACKing)的无监督特征学习算法。HACK 首先在双曲空间的庞加莱球中生成均匀填充的粒子，然后将每幅图像唯一分配给每个粒子。经过凝聚(congealing)后的图像被视为更典型于其所属数据集。随着我们的特征映射器仅被训练为在双曲空间中散开训练实例，我们观察到图像在凝聚过程中移近原点，验证了无监督典型性发现的想法。我们证明，我们的数据驱动典型性提供了一种简单且更优的无监督实例选择方法，以降低样本复杂度、用非典型实例提升模型泛化能力并用典型实例提升鲁棒性。
引用
@article{arxiv.2307.01421,
title = {Unsupervised Feature Learning with Emergent Data-Driven Prototypicality},
author = {Yunhui Guo and Youren Zhang and Yubei Chen and Stella X. Yu},
journal= {arXiv preprint arXiv:2307.01421},
year = {2023}
}
备注
17 pages