对比邻域对齐
机器学习
2022-01-07 v1 计算机视觉与模式识别
摘要
我们提出对比邻域对齐（CNA），一种流形学习方法，用于保持所学特征的拓扑结构，即由源（教师）模型映射到相近表示的数据点，也被目标（学生）模型映射为邻点。目标模型旨在利用对比损失来模仿源表示空间的局部结构。CNA是一种无监督学习算法，不需要各个样本的真实标签。CNA在三种场景中进行了展示：流形学习，模型在降维空间中保持原始数据的局部拓扑；模型蒸馏，训练小型学生模型以模仿更大的教师模型；遗留模型更新，用更强大的模型替换旧模型。实验表明，CNA能够在高维空间中捕捉流形，并在各自领域中相比竞争方法提升性能。
引用
@article{arxiv.2201.01922,
title = {Contrastive Neighborhood Alignment},
author = {Pengkai Zhu and Zhaowei Cai and Yuanjun Xiong and Zhuowen Tu and Luis Goncalves and Vijay Mahadevan and Stefano Soatto},
journal= {arXiv preprint arXiv:2201.01922},
year = {2022}
}
备注
10 pages, 7 tables, 3 figures