基于 LLM 的小数据大规模优化的预训练再微调方法

我们考察了在小数据、大规模决策问题中的情形，其中企业必须同时进行大量运营决策（例如跨大型产品组合），但仅获得少量（可能带有噪声）的数据点。受大型语言模型（LLM）成功的启发，我们提出一种基于设计 Transformer 模型的预训练再微调方法，以应对这一挑战。该模型首先在大规模、领域感知的合成数据上进行预训练，合成数据编码了管理知识和决策环境的结构特征，然后在真实观测数据上进行微调。该新流程具有两个互补优势：预训练将领域知识注入学习过程，使使用丰富合成数据训练高容量模型成为可能；微调则使预训练模型适应运营环境，提高与真实数据生成过程的对齐度。虽然我们利用了 Transformer 的最新表征能力，特别是注意力机制，高效提取跨任务结构，但我们的做法并非即插即用。相反，它依赖于特定于问题的架构设计和量身定制的训练程序以匹配决策场景。理论上，我们发展了关于 Transformer 在相关情境下学习的首个全面误差分析，建立了非渐近界限，验证了该方法的有效性。关键的是，我们的分析揭示了预训练和微调如何共同决定性能，具体取决于哪一种更有利。特别是，微调显示出规模经济效应，即随着实例数量的增加，迁移学习变得越来越有效。