BERT 风格与 CLIP 风格文本编码器的差异
计算与语言
2023-06-07 v1
摘要
掩码语言建模（MLM）一直是自然语言处理中最流行的预训练方法之一，例如代表性模型 BERT。近来，对比语言-图像预训练（CLIP）也引起了关注，尤其是其视觉模型在广泛的视觉任务上取得了优异表现。然而，少有研究致力于探讨 CLIP 所学得的文本编码器。本文通过三个实验分析了 BERT 风格与 CLIP 风格文本编码器之间的差异：（i）通用文本理解，（ii）以视觉为中心的文本理解，以及（iii）文本到图像生成。实验分析表明，尽管 CLIP 风格文本编码器在通用文本理解任务上表现不如 BERT 风格编码器，但它们具备一种独特能力，即用于跨模态关联的联觉，这更类似于人类的感官。
引用
@article{arxiv.2306.03678,
title = {On the Difference of BERT-style and CLIP-style Text Encoders},
author = {Zhihong Chen and Guiming Hardy Chen and Shizhe Diao and Xiang Wan and Benyou Wang},
journal= {arXiv preprint arXiv:2306.03678},
year = {2023}
}
备注
Natural Language Processing. 10 pages, 1 figure. Findings of ACL-2023