词语足矣？以语言作为人类相似性判断的近似方法

人类相似性判断是基于对比学习、信息检索和模型对齐等技术的机器学习应用的一种强大监督信号，但收集人类相似性判断的经典方法成本过高，无法大规模使用。近期方法提出使用预训练深度神经网络（DNN）来近似人类相似性，但预训练 DNN 在某些领域（如医学图像、低资源语言）可能不可用，且其在近似人类相似性方面的性能尚未得到广泛测试。我们对跨越三个领域——图像、音频、视频——的 611 个预训练模型进行了评估，发现人类相似性判断与预训练 DNN 之间存在巨大的性能差距。为弥补这一差距，我们提出了一类基于语言的相似性近似新方法。为收集这些新方法所需的语言数据，我们还开发并验证了一种新颖的自适应标签收集流程。我们发现，就人类判断数量而言，我们提出的基于语言的方法比经典方法显著更便宜，同时仍比基于 DNN 的方法性能更优。最后，我们还开发了将语言嵌入与 DNN 嵌入相结合的“堆叠”方法，并发现这些方法在我们所有三种模态上始终能提供对人类相似性的最佳近似。基于这项综合研究的结果，我们为有意收集或近似人类相似性数据的研究者提供了一份简明指南。为配合该指南，我们还发布了我们在实验中收集的所有相似性与语言数据，共计 206,339 个人类判断，以及所有建模结果的详细分解。