L-CLIPScore：一种轻量级嵌入式字幕评估指标

我们提出一种新型嵌入式字幕评估指标，称为L-CLIPScore，可用于高效评估字幕质量和训练字幕模型。L-CLIPScore计算自轻量级CLIP（L-CLIP），它是一个从CLIP压缩和蒸馏得到的双编码器架构。为压缩，我们应用两种强大的技术：权重复用和矩阵分解，分别用于减少编码器参数和词嵌入矩阵的参数。为蒸馈，我们设计一种新型多模态相似度调节器（SR）损失，以传递更多视觉-语言对齐知识。具体而言，SR损失在给定图像-文本对匹配时放大多模态嵌入相似度，在对非匹配对时缩小相似度。通过这种新的SR损失进行压缩和蒸馈，我们的L-CLIP在保持较少计算资源和运行时间的同时，实现了与原始CLIP相当的多模态对齐能力。我们进行了大量实验以验证L-CLIPScore在用作评估字幕质量的Judge方面的效率和有效性。我们还发现使用L-CLIPScore作为训练字幕模型的监督器时，应该与n-gram基于指标混合使用，并分析仅使用L-CLIPScore会导致训练失败的原因。