再现研究：自注意力的主成分分析（KPCA）解释在审视下失败
机器学习
2025-05-14 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
在本再现研究中，我们重新审视了最近关于自注意力实现核主成分分析（KPCA）（Teo 等，2024）的声明，提出（i）值向量 V 捕获了键 Gram 矩阵的特征向量，（ii）自注意力将查询在键矩阵 K 的特征空间中的主成分轴上进行投影。我们的分析揭示了三个关键不一致性：（1）在学习的自注意力值向量与 KPCA 视角中提出的向量之间不存在对齐，平均相似性指标（最优余弦相似性 ≤ 0.32，线性 CKA（Centered Kernel Alignment） ≤ 0.11，核 CKA ≤ 0.32）表明其间的关联极小；（2）报告的重建损失 J_proj 的下降，大概证明自注意力最小化 KPCA 投影误差的说法被误解了，所涉及的量值相差约 10^3 个数量级；（3）引入的 Gram 矩阵特征值统计量，旨在证明 V 捕获了 Gram 矩阵的特征向量，却在没有未记录的实现特定调整的情况下无法复现。在 10 种变换器架构中，我们得出结论，自注意力的 KPCA 解释缺乏实证支持。
引用
@article{arxiv.2505.07908,
title = {A Reproduction Study: The Kernel PCA Interpretation of Self-Attention Fails Under Scrutiny},
author = {Karahan Sarıtaş and Çağatay Yıldız},
journal= {arXiv preprint arXiv:2505.07908},
year = {2025}
}