无需调优的 LLM 部署可问责干预——一种元认知方法
人工智能
2024-03-12 v1 计算与语言
摘要
大型语言模型 (LLMs) 通过少样本或零样本提示，绕过了参数调优的需求，催化了一系列自然语言处理任务的变革性进展。虽然这种方式很方便，但这种操作模式加剧了“幻觉”担忧，特别是考虑到其巨大模型规模背后神秘的“黑盒”性质。在高风险应用（例如医疗保健）中，这种担忧尤为严重，因为不可问责的决策错误可能导致灾难性后果。相比之下，人类决策依赖于细微的认知过程，例如通过概念理解来感知并自适应地纠正误判的能力。受人类认知的启发，我们提出了一种创新的\textit{元认知}方法，称为\textbf{CLEAR}，旨在赋予 LLMs 自我意识错误识别和纠正的能力。我们的框架促进了特定概念的稀疏子网络的构建，从而照亮透明的决策路径。这为部署后的模型\textit{干预}提供了一个新颖的接口。我们的干预提供了显著优势：(\textit{i}) 在部署或推理时，我们的元认知 LLMs 可以在最少人工参与的情况下有意识地识别潜在的误预测，(\textit{ii}) 模型有能力高效地自我纠正错误，无需额外调优，以及 (\textit{iii}) 修正过程不仅具有自解释性，而且用户友好，增强了模型的可解释性和可访问性。通过整合这些元认知特征，我们的方法开创了一条新路径，旨在增强 LLMs 部署中的可信度和问责制。
引用
@article{arxiv.2403.05636,
title = {Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach},
author = {Zhen Tan and Jie Peng and Tianlong Chen and Huan Liu},
journal= {arXiv preprint arXiv:2403.05636},
year = {2024}
}