CLIP 也理解文本：提示 CLIP 进行短语理解
计算与语言
2022-10-13 v1
摘要
对比语言-图像预训练（CLIP）通过自然语言监督的预训练高效地学习视觉概念。CLIP 及其视觉编码器已在多种视觉与语言任务上被探索，并取得了强大的零样本或迁移学习性能。然而，其文本编码器单独用于文本理解的应用则较少被探索。本文中，我们发现 CLIP 的文本编码器实际上展现出强大的短语理解能力，并且通过恰当设计的提示（prompt），甚至能显著优于 BERT 等流行语言模型。大量实验在不同数据集与领域上的实体聚类与实体集扩展任务中验证了我们所提方法的有效性。
引用
@article{arxiv.2210.05836,
title = {CLIP also Understands Text: Prompting CLIP for Phrase Understanding},
author = {An Yan and Jiacheng Li and Wanrong Zhu and Yujie Lu and William Yang Wang and Julian McAuley},
journal= {arXiv preprint arXiv:2210.05836},
year = {2022}
}
备注
Work in progress