CKA 作为深度学习中相似性度量的可靠性
机器学习
2022-11-17 v2 人工智能
计算机视觉与模式识别
摘要
比较神经网络中学习到的神经表征是一个具有挑战性但重要的问题，已有多种方法加以应对。中心核对齐（Centered Kernel Alignment, CKA）相似性度量，尤其是其线性变体，近年来成为一种流行方法，并被广泛用于比较网络不同层、以不同方式训练的架构相似网络、或在相同数据上训练的不同架构模型的表征。基于 CKA 已对这些各类表征的相似与差异得出广泛结论。本工作中，我们给出一种分析，形式化刻画了 CKA 对一大类简单变换的敏感性，这类变换在现代机器学习中自然会出现。这为既往工作所观察到的 CKA 对离群值的敏感性，以及对保持数据线性可分性（一个重要泛化属性）的变换的敏感性提供了具体解释。我们通过实证研究了 CKA 相似性度量的若干弱点，展示了其给出意外或反直觉结果的情形。最后，我们研究了在保持功能行为的同时修改表征以改变 CKA 值的方法。我们的结果表明，在许多情况下，CKA 值可被轻易操纵而无需大幅改变模型的功能行为，并呼吁在利用激活对齐度量时保持谨慎。
引用
@article{arxiv.2210.16156,
title = {Reliability of CKA as a Similarity Measure in Deep Learning},
author = {MohammadReza Davari and Stefan Horoi and Amine Natik and Guillaume Lajoie and Guy Wolf and Eugene Belilovsky},
journal= {arXiv preprint arXiv:2210.16156},
year = {2022}
}