KLoB：一个评估语言模型中知识定位方法的基准
计算与语言
2024-08-27 v3 人工智能
摘要
近来，定位-然后-编辑（Locate-Then-Edit）范式已成为改变语言模型中存储事实知识的主要方法之一。然而，关于现有定位方法能否精确指向嵌入所需知识的参数，尚缺乏研究。此外，尽管许多研究者质疑事实知识的局部性假设的有效性，却无方法可供检验该假设以进行更深入的讨论与研究。因此，我们引入 KLoB，一个考察可靠知识定位方法应满足的三个基本属性的基准。KLoB 可作为评估语言模型中现有定位方法的基准，并贡献了一种重新评估事实知识局部性假设有效性的方法。KLoB 已在匿名 GitHub 公开：\url{https://github.com/anon6662/KLoB}。
引用
@article{arxiv.2309.16535,
title = {KLoB: a Benchmark for Assessing Knowledge Locating Methods in Language Models},
author = {Yiming Ju and Xingrun Xing and Zhixiong Zeng},
journal= {arXiv preprint arXiv:2309.16535},
year = {2024}
}