走钢丝——高风险领域中大语言模型的评估
计算与语言
2023-11-28 v1
摘要
高风险领域带来了独特的挑战，要求语言模型提供准确且安全的回复。尽管大语言模型（LLMs）如 ChatGPT 及其变体取得了巨大成功，它们在高风险领域中的表现仍不明确。我们的研究深入分析了指令微调 LLMs 的性能，聚焦于事实准确性与安全性遵从。为全面评估 LLMs 的能力，我们在六个 NLP 数据集上进行了实验，涵盖法律和医疗两个高风险领域中的问答与摘要任务。进一步的定性分析凸显了当前 LLMs 在高风险领域评估中固有的局限。这凸显了不仅需提升 LLM 能力，还须优先改进领域特定指标，并采用更以人为中心的方法来增强安全性与事实可靠性的本质需求。我们的发现推动了在该领域对高风险领域中妥善评估 LLMs 相关问题的研究，旨在引导 LLMs 的适应性以履行社会义务并符合如欧盟 AI 法案等 forthcoming 法规。
引用
@article{arxiv.2311.14966,
title = {Walking a Tightrope -- Evaluating Large Language Models in High-Risk Domains},
author = {Chia-Chien Hung and Wiem Ben Rim and Lindsay Frost and Lars Bruckner and Carolin Lawrence},
journal= {arXiv preprint arXiv:2311.14966},
year = {2023}
}
备注
EMNLP 2023 Workshop on Benchmarking Generalisation in NLP (GenBench)