TAXI：评估语言模型的类别知识编辑
计算与语言
2024-06-07 v2
摘要
人类很少孤立地学习一个事实。相反，学习一个新事实会引发关于世界其他事实的知识。例如，在得知科拉特猫是一种猫时，你还会推断它是哺乳动物且有爪子，从而确保你的世界模型是一致的。知识编辑旨在向语言模型中注入新事实以提高其事实性，但当前的基准未能评估一致性，而一致性对于确保高效、准确和可泛化的编辑至关重要。我们手动创建了TAXI，这是一个专门用于评估类别知识编辑一致性的新基准数据集。TAXI包含976个编辑的11,120个多项选择查询，涵盖41个类别（例如狗）、164个主体（例如拉布拉多犬）和183个属性（例如是哺乳动物）。然后我们使用TAXI评估流行编辑器的类别一致性，衡量编辑主体的类别时其属性被适当编辑的频率。我们发现：1）编辑器实现了边际但非随机的一致性；2）它们的一致性远低于人类基线；3）在编辑非典型主体时一致性更容易实现。我们的代码和数据可在https://github.com/derekpowell/taxi获取。
引用
@article{arxiv.2404.15004,
title = {TAXI: Evaluating Categorical Knowledge Editing for Language Models},
author = {Derek Powell and Walter Gerych and Thomas Hartvigsen},
journal= {arXiv preprint arXiv:2404.15004},
year = {2024}
}
备注
Accepted to ACL 2024 (Findings)