调和型 LLM 具有可靠性

我们引入了一种直观的方法，通过衡量任何黑盒 LLM 在局部偏离调和性（记为 $\gamma$）来测试其鲁棒性（稳定性和可解释性）。据我们所知，这是首个完全模型无关且无监督的 LLM 可靠性测量方法，基于模型本身符合纯数学标准。为展示方法的普适性和即时性，我们在 10 个流行 LLM（ChatGPT、Claude-2.1、Claude3.0、GPT-4、GPT-4o、Smaug-72B、Mixtral-8x7B、Llama2-7B、Mistral-7B 与 MPT-7B）中测量 $\gamma$，并在三个客观领域（WebQA、ProgrammingQA 与 TruthfulQA）中进行数千次查询测试。在所有模型和领域测试中，人工标注确认 $\gamma \to 0$ 表示可靠性，而反之则容易暴露幻觉实例，这使得通过 $\gamma$ 中的随机梯度上升生成对抗性提示成为可能。各模型在相应领域中 $\gamma$ 较低的领袖为 GPT-4o、GPT-4 与 Smaug-72B，表明中等规模的开源模型可战胜大型商业模型。