各向同性性影响：用于语义代码搜索的软 ZCA 白化
计算与语言
2024-11-28 v2
摘要
嵌入空间中的各向同性性低会损害涉及语义推断的任务性能。我们的研究探讨了各向同性性对语义代码搜索性能的影响，并探索了缓解此问题的后处理技术。我们分析了各种代码语言模型，检查了它们嵌入空间中的各向同性性及其对搜索效果的影响。我们提出了一种修改的 ZCA 白化技术，以控制嵌入空间中的各向同性性水平。我们的结果表明，软 ZCA 白化提高了预训练代码语言模型的性能，并且可以补充对比微调。
引用
@article{arxiv.2411.17538,
title = {Isotropy Matters: Soft-ZCA Whitening of Embeddings for Semantic Code Search},
author = {Andor Diera and Lukas Galke and Ansgar Scherp},
journal= {arXiv preprint arXiv:2411.17538},
year = {2024}
}