通过真实性提升预训练语言模型中的事实检索
计算与语言
2024-10-18 v1
摘要
预训练语言模型 (PLMs) 在预训练阶段编码了关于世界的各种事实，因为它们被训练用于预测句子中下一个或缺失的单词。人们对量化和提高从 PLMs 中可提取的事实量一直很感兴趣，因为它们被设想可以充当可通过自然语言查询的软知识库。存在不同的增强 PLMs 事实检索的方法。最近的工作表明，PLMs 的隐藏状态可以被用来确定 PLMs 输入的真实性。利用这一发现来改进事实检索仍未得到探索。在本工作中，我们研究使用辅助模型来提高事实检索的方法。该辅助模型根据 PLMs 的隐藏状态表示评估输入的真实性。我们在几个遮蔽 PLMs 上对该方法进行评估，结果表明该方法可提高事实检索效率最高可达 33%。我们的发现凸显了 PLMs 隐藏状态表示在改进其事实知识检索方面的潜力。
引用
@article{arxiv.2410.13562,
title = {Enhancing Fact Retrieval in PLMs through Truthfulness},
author = {Paul Youssef and Jörg Schlötterer and Christin Seifert},
journal= {arXiv preprint arXiv:2410.13562},
year = {2024}
}