大语言模型可信度映射：从理论到实践的 Bibliometric 分析
计算与语言
2025-05-06 v3 计算机与社会
摘要
大语言模型（LLM）的快速普及引发了显著的可信度和伦理问题。尽管LLM在多个领域广泛应用，但仍无明确共识关于如何定义和操作化可信度。本研究旨在通过分析研究趋势、可信度定义及实际技术，弥合理论讨论与实际实施之间的鸿沟。我们使用Bibliometrix对2019至2025年间的2006篇Web of Science publications进行计量分析，并手动审阅了68篇论文。我们发现从传统人工智能伦理讨论转向LLM可信度框架。我们识别出18种不同的信任/可信度定义，其中透明度、可解释性和可靠性是最常见的维度。我们识别出20种提升LLM可信度的策略，其中微调和检索增强生成（RAG）是最突出的。大多数策略由开发者驱动，主要在后训练阶段应用。几位作者提出了片段化术语而非统一框架，导致“伦理洗白”风险，即在缺乏真正监管承诺的情况下采用伦理话语。我们的发现突显：理论分类学与实际实施之间存在持续的鸿沟、开发者在操作化信任方面发挥关键作用，以及为实现可信且伦理的LLM部署呼吁标准化框架和更强监管措施。
引用
@article{arxiv.2503.04785,
title = {Mapping Trustworthiness in Large Language Models: A Bibliometric Analysis Bridging Theory to Practice},
author = {José Siqueira de Cerqueira and Kai-Kristian Kemell and Rebekah Rousi and Nannan Xi and Juho Hamari and Pekka Abrahamsson},
journal= {arXiv preprint arXiv:2503.04785},
year = {2025}
}