链接鲁棒性与泛化性：基于k*分布的概念聚类潜在空间分析
计算机视觉与模式识别
2024-08-20 v1 人工智能
机器学习
摘要
大多数视觉模型评估使用间接方法来评估潜在空间质量。这些方法通常涉及添加额外层将潜在空间投影到新的空间中。这种投影使得分析和比较原始潜在空间变得困难。本文使用k*分布，这是一种局部邻域分析方法，来检查在概念层面上对学习到的潜在空间的分析，这可以扩展到检查整个潜在空间。我们引入基于偏度的真实和近似指标，用于解释单个概念以评估视觉模型潜在空间的整体质量。我们的发现表明，当前视觉模型经常在潜在空间中破坏单个概念的分布。尽管如此，随着这些模型在多个数据集上提高泛化能力，破坏程度会减小。在鲁棒视觉模型中也观察到类似趋势，其中鲁棒性的增加与减少破坏程度呈相关。最终，这种方法实现了对不同视觉模型潜在空间的直接解释和比较，并揭示了模型泛化性与鲁棒性之间的关系。结果表明，随着模型变得更通用和更鲁棒，它倾向于学习导致概念更好聚类的特征。项目网站可在 https://shashankkotyan.github.io/k-Distribution/ 在线访问。
引用
@article{arxiv.2408.09065,
title = {Linking Robustness and Generalization: A k* Distribution Analysis of Concept Clustering in Latent Space for Vision Models},
author = {Shashank Kotyan and Pin-Yu Chen and Danilo Vasconcellos Vargas},
journal= {arXiv preprint arXiv:2408.09065},
year = {2024}
}