LLM 生成解释的特性与挑战
计算与语言
2024-12-18 v1 人工智能
计算机与社会
人机交互
机器学习
摘要
大型语言模型（LLM）的自我推理能力已在受限环境下使用特定任务数据集进行了探索。然而，当前的 LLM 并不（仅）依赖于专门标注的数据；尽管如此，它们仍频繁地解释其输出。生成解释的特性受预训练语料库和用于指令微调的目标数据的影响。由于预训练语料库包含大量“自然状态下”的人类撰写解释，我们假设 LLM 采纳了人类解释的常见特性。通过分析多领域指令微调数据集的输出，我们发现生成的解释表现出选择性并包含说明性元素，但较少具有主观性或误导性。我们讨论了这些特性存在与否的原因和后果。特别是，我们根据自我推理系统的目标和用户群体，概述了其正面和负面影响。
引用
@article{arxiv.2402.10532,
title = {Properties and Challenges of LLM-Generated Explanations},
author = {Jenny Kunz and Marco Kuhlmann},
journal= {arXiv preprint arXiv:2402.10532},
year = {2024}
}