ChatGPT 相关研究综述及大语言模型未来展望
计算与语言
2023-08-25 v4
摘要
本文对 ChatGPT 相关(GPT-3.5 与 GPT-4)研究、GPT 系列的先进大语言模型(LLM)及其在多个领域的潜在应用进行了全面综述。事实上,大规模预训练捕获整个万维网的知识、指令微调以及基于人类反馈的强化学习(RLHF)等关键创新,在提升 LLM 的适应性与性能方面发挥了重要作用。我们对 arXiv 上 194 篇相关论文进行了深入分析,涵盖趋势分析、词云表示以及各应用领域的分布分析。研究结果表明,对 ChatGPT 相关研究的兴趣显著且持续增长,主要集中于直接的自然语言处理应用,同时在从教育、历史到数学、医学与物理等领域也展现出可观潜力。本研究力求为理解 ChatGPT 的能力、潜在影响、伦理关切提供见解,并为该领域未来进展指明方向。
引用
@article{arxiv.2304.01852,
title = {Summary of ChatGPT-Related Research and Perspective Towards the Future of Large Language Models},
author = {Yiheng Liu and Tianle Han and Siyuan Ma and Jiayue Zhang and Yuanyuan Yang and Jiaming Tian and Hao He and Antong Li and Mengshen He and Zhengliang Liu and Zihao Wu and Lin Zhao and Dajiang Zhu and Xiang Li and Ning Qiang and Dingang Shen and Tianming Liu and Bao Ge},
journal= {arXiv preprint arXiv:2304.01852},
year = {2023}
}
备注
21 pages, 4 figures, accepted by Meta-Radiology