基于强化学习微调的 LLM 在可解释商业决策中的应用

人工智能模型日益驱动高风险消费者交互，但其决策逻辑往往难以被解释。现有的可解释 AI 技术依赖事后数值特征归因，无法提供关于模型决策背后连贯叙事。大语言模型 (LLM) 为生成自然语言解释提供了可能，但仍存在三个未解决的设计挑战：解释必须既正确又忠实于驱动预测的因素；它们应能服务于多个受众而不改变底层决策规则；并且应以高效的方式进行训练，无需依赖大量的人工标注解释。为此，我们提出 LEXMA (LLM-based EXplanations for Multi-Audience decisions)，一个基于强化学习的微调框架，产生以叙事为导向、适合不同受众的解释。LEXMA 将反思增强的监督微调与两阶段群体相对政策优化 (GRPO) 结合起来。具体做法是对两个独立的参数集合进行微调，以提高决策正确性并满足不同受众的风格要求，使用不依赖人工标注解释的奖励信号。我们在抵押贷款批准决策的上下文中实现了 LEXMA。结果表明，LEXMA 在其他 LLM 基线上显著提升了预测性能。而且，人类评估显示，我们的方法生成的面向专家的解释更侧重风险，而消费者面的解释则更清晰、更具可操作性且更礼貌。我们的研究为增强商业决策解释质量提供了一种高效、系统的方法，为透明 AI 系统的可扩展部署提供了强大的潜力。