基于原则的探索式多样 AI 监督
计算与语言
2023-11-27 v2
摘要
使用下一词预测训练大型 Transformer 模型已带来 AI 领域的突破性进展。尽管这种生成式 AI 方法取得了令人瞩目的成果，但它严重依赖人类监督。即便是像 ChatGPT 这样最先进的 AI 模型也依赖通过人类示范进行微调，需要大量人力投入与领域专业知识。这种对人类监督的强烈依赖构成了 AI 创新发展的重大障碍。为应对这一局限，我们提出一种称为探索式 AI（Exploratory AI, EAI）的新范式，旨在自主生成高质量训练数据。受无监督强化学习（RL）预训练启发，EAI 在自然语言空间内实现探索。我们通过利用大型语言模型（LLM）评估生成内容的新颖性来实现这一点。我们的方法采用两个关键组件：一个遵循探索原则生成新颖内容的行动者，以及一个评估生成内容、提供批评以引导行动者的评论者。实证评估表明，EAI 在复杂推理任务上显著提升模型性能，解决了人工密集型监督的局限。
引用
@article{arxiv.2310.08899,
title = {Exploration with Principles for Diverse AI Supervision},
author = {Hao Liu and Matei Zaharia and Pieter Abbeel},
journal= {arXiv preprint arXiv:2310.08899},
year = {2023}
}