在 GPT 中追踪与编辑关系关联
计算与语言
2024-01-09 v1 人工智能
摘要
本研究引入了一种分析和修改 GPT 模型中实体关系的新方法，有别于 ROME 以实体为中心的方法。我们开发了一种关系追踪技术，以理解语言模型计算对关系判断的影响。使用 FewRel 数据集，我们确定了 MLP 模块和注意力机制在处理关系信息中的关键作用。我们的方法在一个新数据集上与 ROME 进行了对比测试，结果显示在特异性和泛化性之间取得了更好的平衡，突显了操纵早期层模块以增强模型理解和准确性的潜力。
引用
@article{arxiv.2401.02976,
title = {Trace and Edit Relation Associations in GPT},
author = {Jiahang Li and Taoyu Chen and Yuanli Wang},
journal= {arXiv preprint arXiv:2401.02976},
year = {2024}
}