不太生成，不太判别：人类对齐的甜蜜点
计算机视觉与模式识别
2026-05-25 v1 人工智能
摘要
计算视觉中的一个核心问题是：类人的视觉表示更能由判别性学习还是生成性学习来解释。然而，现有的比较往往将学习目标与架构、规模和训练数据混淆在一起，从而无法确定目标本身是否驱动了对齐。我们使用联合能量模型（JEM）来解决这一混淆，该模型在固定架构内连续插值于判别性和生成性训练之间。通过改变单一的混合系数，我们分离了学习目标的影响，并在跨越感知相似性、光泽感知、人类响应不确定性、鲁棒性、形状-纹理线索冲突以及诊断性特征归因的六项人类对齐基准上评估了所得模型。在这一多样化的测试套件中，人类对齐在生成-判别连续统的中间点持续达到最大化，而非在任一端点处。混合 JEM 结合了判别性学习引入的类别结构与生成性学习引入的对输入结构的敏感性，从而在多个视觉层级上产生更类人的行为。这些结果表明，生成-判别二分法是理解人类对齐视觉的错误轴线：对齐并非源于选择一种目标而非另一种，而是源于两者的平衡。
引用
@article{arxiv.2605.23819,
title = {Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot},
author = {Jorge Chang Ortega and Bastien Le Lan and Thomas Serre and Victor Boutin},
journal= {arXiv preprint arXiv:2605.23819},
year = {2026}
}