潜在空间链路嵌入：无输出 LLM 自我评估
计算与语言
2025-03-14 v2 人工智能
机器学习
摘要
LLM 自我评估依赖其自身估计响应正确性的能力，这可以大幅提高其部署可靠性。本研究轨迹中，我们提出了在潜在空间中实现无输出自我评估的链路嵌入（Chain-of-Embedding, CoE）方法。CoE 由推理期间产生的所有逐步隐藏状态组成，可视为 LLM 的潜在思考路径。我们发现，当 LLM 正确和错误作答时，其 CoE 特征存在差异，这些差异有助于估计 LLM 响应的正确性。在四个多样化领域和七个 LLM 的实验充分证明了本方法的有效性。同时，其无标签设计且无需任何训练，计算成本仅为毫秒级，确保了在大规模场景中的实时反馈。更重要的是，我们从隐藏状态内部变化的角度，对 LLM 响应正确性提供了有趣的洞见。
引用
@article{arxiv.2410.13640,
title = {Latent Space Chain-of-Embedding Enables Output-free LLM Self-Evaluation},
author = {Yiming Wang and Pei Zhang and Baosong Yang and Derek F. Wong and Rui Wang},
journal= {arXiv preprint arXiv:2410.13640},
year = {2025}
}
备注
Accepted by ICLR 2025