大语言模型批判性评述：敏感性、偏差与迈向专用 AI 之路
计算与语言
2023-07-31 v1 人工智能
摘要
本文考察了专用编译语言模型与像 OpenAI 的 GPT-3.5 这样的通用模型在文本数据中检测可持续发展目标（SDGs）方面的比较有效性。它对大语言模型（LLMs）进行了批判性评述，探讨了与偏差和敏感性相关的挑战。文章强调了为精确、无偏分析而进行专用训练的必要性。一项使用公司描述数据集的案例研究，揭示了 GPT-3.5 与专用 SDG 检测模型之间的差异。虽然 GPT-3.5 具有更广的覆盖面，但可能识别出与公司活动相关性有限的 SDGs。相比之下，专用模型则聚焦于高度相关的 SDGs。文章强调了综合考虑任务需求、成本、复杂性和透明度来审慎选择模型的重要性。尽管 LLMs 具有通用性，但对于要求精度和准确性的任务，建议使用专用模型。该研究最后鼓励进一步研究，以在 LLMs 的能力与领域专业知识和可解释性需求之间找到平衡。
引用
@article{arxiv.2307.15425,
title = {A Critical Review of Large Language Models: Sensitivity, Bias, and the Path Toward Specialized AI},
author = {Arash Hajikhani and Carolyn Cole},
journal= {arXiv preprint arXiv:2307.15425},
year = {2023}
}
备注
17 pages, 6 figures, 6 tables