增强 LLM 指令遵循能力的自我审阅框架 Re5

已提出多种技术来提高大语言模型（LLM）对格式和指令约束的遵循程度。其中最有效的方法之一是利用来自强大模型生成的高质量数据。然而，这些模型往往无法在单次生成中完全遵守复杂指令。为此，已引入迭代修订方法。但随着数据点数量和修订迭代次数的增加，相关的经济成本也显著增长。作为一种资源效率更高的替代方案，已提出利用高性能评估工具来弥补开源 LLM 自我评估能力有限的方法。然而，这些方法常常会因过度修订而导致输出质量下降。为克服上述挑战，我们提出了 Re5（Self-Review and Re-evaluate framework），一个旨在提升指令遵循性能同时保持生成内容质量的自我评估与修订框架。Re5 从用户指令中提取任务和约束组件，进行结构化评估以防止误差累积，并对细化的约束特定内容进行评估，然后进行选择性修订。这一过程确保了精确且质量可靠的改进。最终得到的高质量输出用于对齐调优，通过数据驱动的迭代细化循环实现长期对齐改进。实验结果表明，Re5 在小样本数据下即可实现与 GPT-4o-mini（一种高性能模型）相当的指令遵循性能，同时以 64.24% 的优势保持响应质量，优于未修订的初始响应。这一结果表明，Re5 是一种高效且有效的解决方案，能够在最小化外部监督的情况下提升指令遵循能力。