迈向可信赖的语言模型：探究大语言模型的信息质量
计算与语言
2024-01-25 v1 人工智能
机器学习
摘要
大语言模型（Large Language Model, LLM）正以极快的速度生成信息，这要求用户越来越依赖并信任这些数据。尽管LLM取得了显著进展，但由于信息质量方面的挑战，LLM生成的信息并非完全可信。具体而言，由于LLM预训练过程中的不可靠、有偏见的标记化，信息质量的完整性下降。此外，信息质量问题的加剧导致了幻觉和虚构信息的产生。不可靠的信息可能导致商业决策失误，进而影响经济活动。在这项工作中，我们引入了新颖的LLM数学信息质量评估方法，进一步分析并强调了信息质量挑战，以及系统扩展语言模型的缩放定律。
引用
@article{arxiv.2401.13086,
title = {Towards Trustable Language Models: Investigating Information Quality of Large Language Models},
author = {Rick Rejeleene and Xiaowei Xu and John Talburt},
journal= {arXiv preprint arXiv:2401.13086},
year = {2024}
}
备注
31 pages