TextGrad：通过文本实现自动“微分”

AI 正在发生范式转变，大型语言模型（LLM）及其他复杂组件编排系统取得了诸多突破。因此，为复合型 AI 系统开发原则且自动化的优化方法是最重要的新挑战之一。神经网络在早期面临类似挑战，直至反向传播和自动微分技术的出现，将其转化为“开箱即用”的优化工具。以此为灵感，我们引入 TextGrad—a 个功能强大的框架，通过文本实现自动“微分”。TextGrad 将 LLM 提供的文本反馈反向传播，以改进复合 AI 系统各个组件的性能。在我们的框架中，LLM 提供丰富、通用、自然语言建议，以优化计算图中的变量，从而涵盖代码片段到分子结构等各种场景。TextGrad 遵循 PyTorch 的语法和抽象，具有灵活性和易用性。它开箱即用，适用于各种任务，用户只需提供目标函数，而无需调整框架的组件或提示。我们展示了 TextGrad 在问答、分子优化、放疗计划等多样应用中的有效性和通用性。TextGrad 在 Google-Proof 问答任务中将 GPT-4o 的零样本准确率从 51% 提升至 55%，在优化 LeetCode-Hard 编程问题解答方面实现 20% 的相对性能提升，改进推理提示，设计具有良好体内结合性的新型药物分子，以及设计高特异性的放射治疗治疗计划。TextGrad 为加速下一代 AI 系统的开发奠定了基础。