大语言模型知识范式中的开放问题及其假设性前进路径
计算与语言
2025-04-10 v1
摘要
知识是大型语言模型（LLM）整体能力的基础。模型的知识范式决定了其如何编码和利用知识，对模型性能产生显著影响。尽管在现有知识范式下不断发展 LLM，但这些框架内的一些问题仍限制了模型的潜力。本博客文章概述了三个限制模型能力的关键开放问题：（1）LLM 知识更新的挑战、（2）逆向知识泛化失败（即颠倒诅咒）、（3）内部知识冲突。我们回顾了解决这些问题的最新进展，讨论了潜在的通用解决方案。基于对这些领域的观察，我们提出了基于情境知识扩展的假设性范式，并进一步概述了在当今技术范围内可行的实现路径。证据表明，这种方法有潜力解决当前不足之处，为未来模型范式提供了愿景。本博客文章旨在为研究人员提供关于 LLM 知识系统进展的简要概述，同时为下一代模型架构的开发提供灵感。
引用
@article{arxiv.2504.06823,
title = {Open Problems and a Hypothetical Path Forward in LLM Knowledge Paradigms},
author = {Xiaotian Ye and Mengqi Zhang and Shu Wu},
journal= {arXiv preprint arXiv:2504.06823},
year = {2025}
}
备注
Blog post preprint, work in progress