大语言模型中知识的生命周期：综述
计算与语言
2024-04-04 v1
摘要
知识在人工智能中起着关键作用。近来，预训练语言模型（PLMs）的广泛成功引发了关于语言模型如何获取、维持、更新与运用知识的高度关注。尽管相关研究海量，仍缺乏统一视角来理解知识在学习、调优与应用过程中于语言模型内部的循环方式，这可能阻碍我们进一步理解当前进展间的联系或认识现有局限。本综述中，我们将PLMs重新审视为基于知识的系统，把PLMs中知识的生命周期划分为五个关键阶段，并探究知识在构建、维持与使用时如何循环。为此，我们系统综述各知识生命周期阶段的现有研究，总结主要挑战与当前局限，并讨论未来方向。
引用
@article{arxiv.2303.07616,
title = {The Life Cycle of Knowledge in Big Language Models: A Survey},
author = {Boxi Cao and Hongyu Lin and Xianpei Han and Le Sun},
journal= {arXiv preprint arXiv:2303.07616},
year = {2024}
}
备注
paperlist: https://github.com/c-box/KnowledgeLifecycle