超越准确率：揭示监督学习中相似性感知及其与语义对齐的作用
计算机视觉与模式识别
2025-05-28 v1
摘要
相似性以多种形式表现，其中语义相似性尤为重要，它基于共享功能和进化特征等，作为人类物体分类的近似。它还通过诸如 WordNet 等词汇结构在计算建模中提供了实际优势，具有恒定且可解释的相似性。然而在深度视觉领域，对相似性感知涌现现象的关注仍然不够。我们引入了深度相似性检查器（DSI）——一个系统性框架，用于检查深度视觉网络如何发展其相似性感知及其与语义相似性的对齐。我们的实验表明，卷积神经网络（CNN）和视觉 Transformer（ViT）在训练过程中均发展出丰富的相似性感知，包含 3 个阶段（初始相似性激增、细化、稳定），且 CNN 与 ViT 之间存在明显差异。除了逐步消除错误外，还可以观察到错误细化现象。
引用
@article{arxiv.2505.21338,
title = {Beyond Accuracy: Uncovering the Role of Similarity Perception and its Alignment with Semantics in Supervised Learning},
author = {Katarzyna Filus and Mateusz Żarski},
journal= {arXiv preprint arXiv:2505.21338},
year = {2025}
}