生成式还是判别式？在 Transformer 时代重新审视文本分类

判别式与生成式分类器的比较自费恩（Efron）关于 logistic 回归与判别分析的经典分析以来一直吸引着研究者。虽然早期的理论工作已确立生成式分类器在简单线性情境下具有更低的样本复杂度但更高的渐近误差，但这些权衡在 transformer 时代仍未得到探讨。我们present了对现代生成式和判别式架构——自回归建模、遮蔽语言模型、离散扩散和用于文本分类的编码器——的首次全面评估。我们的研究揭示，经典的“两个阶段”现象在不同架构和训练范式中呈现出不同的特征。除准确率外，我们还分析了样本效率、校准、噪声鲁棒性和序数性，在多种情境下进行了考察。我们的发现为在现实约束（如延迟和数据限制）下选择最合适建模方法提供了实用指导。