真相或欺骗？基于贝叶斯的解码游戏提升一致性和可靠性
人工智能
2024-10-03 v1
摘要
大型语言模型（LLM）常常产生输出——尽管看起来合理——但可能缺乏一致性和可靠性，特别是在模糊或复杂场景中。挑战在于确保输出符合事实正确性和人类意图。现有方法在提高一致性方面往往牺牲准确性。这一问题在现有方法中尤为突出。为缓解这些挑战，我们提出了一种新颖的博弈论方法，以增强LLM输出生成解码阶段的一致性和可靠性。我们的方法将解码过程建模为多阶段贝叶斯解码博弈。这确保了通过正确性对齐实现一致性，并通过模糊性校准提高可靠性。该模型动态地收敛于对最可靠输出的共识，并在无需人工反馈或额外训练的情况下区分{有效, 虚假}输出。我们的游戏设计允许较小的模型超过较大的模型（例如 78.1 LLaMA13B vs 76.6 PaLM540B），并整合各种LLM策略和模型，展示了博弈论工具提高LLM真实性和可靠性的潜力。
引用
@article{arxiv.2410.01064,
title = {Truth or Deceit? A Bayesian Decoding Game Enhances Consistency and Reliability},
author = {Weitong Zhang and Chengqi Zang and Bernhard Kainz},
journal= {arXiv preprint arXiv:2410.01064},
year = {2024}
}