用于神经网络比较的去混杂表示相似性
机器学习
2022-02-02 v1 机器学习
摘要
诸如表示相似性分析（RSA）与中心化核对齐（CKA）等相似性度量已被用于比较神经网络之间的逐层表示。然而，这些度量受输入空间中数据项的群体结构混杂，导致即便完全随机的神经网络也会出现虚假的高相似性，并在迁移学习中产生不一致的域关系。我们引入了一种简单且普遍适用的修正，通过协变量调整回归来校正混杂因素，同时保留原始相似性度量的直观不变性性质。我们表明，去混杂的相似性度量提高了检测语义相似神经网络的分辨率。此外，在真实世界应用中，去混杂提升了迁移学习中表示相似性与域相似性的一致性，并增加了与分布外准确率的相关性。
引用
@article{arxiv.2202.00095,
title = {Deconfounded Representation Similarity for Comparison of Neural Networks},
author = {Tianyu Cui and Yogesh Kumar and Pekka Marttinen and Samuel Kaski},
journal= {arXiv preprint arXiv:2202.00095},
year = {2022}
}