大语言模型对齐综述：指令理解、意图推理与可靠生成

大型语言模型在理解与生成方面展现了卓越的能力。然而，在实际场景中，用户的自然语言表达往往具有模糊性、歧义性和不确定性，导致诸如模糊化、多义性和情境歧义等挑战。本文聚焦于大语言模型生成任务中的三个核心挑战：指令理解、意图推理与可靠对话生成。关于人类复杂指令，大语言模型在理解长时序上下文和多轮对话中的指令方面存在不足。对于意图推理，大语言模型可能存在指令推理不一致、难以推理包含错误信息的指令、难以理解用户模糊语言指令，以及对用户指令中意图的理解不足。此外，在可靠对话生成方面，大语言模型可能生成内容不稳定且不道德。为此，我们对大语言模型在挑战场景下的表现进行分类与分析，并对现有解决方案进行全面评估。进一步，我们引入基准测试并根据上述三个核心挑战进行分类。最后，我们探讨了未来研究的潜在方向，以增强大语言模型在实际应用中的可靠性和适应性。