恶魔藏于 EOS：详细图像描述的序列训练

尽管视觉语言模型 (VLM) 在图像描述方面取得了显著进展，但图像描述常常缺乏细节，基准模型会生成短而笼统的描述。尽管已提出监督数据和复杂奖励函数以改进详细图像描述，但我们发现根本性问题在于：模型对结束符 (EOS) 标记的偏好，这种偏好在交叉熵训练期间被引入。我们提出了一种无监督方法来消除模型过早预测 EOS 标记的偏好。通过减少这种偏好，我们鼓励生成更长、更详细的描述，而无需复杂的奖励函数或监督。我们的方法简单、有效且易于应用于任何预训练模型。通过在三个 VLM 和三个详细描述基准测试上的实验，我们展示了其有效性。结果显示，描述长度和相关细节显著增加，尽管也出现了预期的幻觉率增加。