K-LITE：利用外部知识学习可迁移的视觉模型
计算机视觉与模式识别
2022-10-25 v2 人工智能
计算与语言
机器学习
摘要
新一代最先进的计算机视觉系统从自然语言监督中学习，范围从简单的对象类别名称到描述性标题。由于通过大规模数据收集过程实现了广泛的概念覆盖，这种监督形式确保了所学视觉模型的高通用性和可用性。作为替代，我们认为利用外部知识进行学习是一种有前景的方式，它借助结构化程度高得多的监督来源，并提供样本效率。我们提出 K-LITE，一种利用外部知识构建可迁移视觉系统的简单策略：在训练中，它用 WordNet 和 Wiktionary 知识丰富文本中的实体，从而形成一种高效且可扩展的学习图像表示的方法，该方法使用关于视觉概念的知识。在评估中，文本同样用外部知识增强，然后用于指代已学习的视觉概念（或描述新概念），以实现预训练模型的零样本和少样本迁移。我们研究了 K-LITE 在两个重要计算机视觉问题（图像分类和目标检测）上的性能，分别在 20 个和 13 个不同的现有数据集上进行了基准测试。所提出的知识增强模型在迁移学习性能上较现有方法显示出显著提升。我们的代码可在 https://github.com/microsoft/klite 获取。
引用
@article{arxiv.2204.09222,
title = {K-LITE: Learning Transferable Visual Models with External Knowledge},
author = {Sheng Shen and Chunyuan Li and Xiaowei Hu and Jianwei Yang and Yujia Xie and Pengchuan Zhang and Zhe Gan and Lijuan Wang and Lu Yuan and Ce Liu and Kurt Keutzer and Trevor Darrell and Anna Rohrbach and Jianfeng Gao},
journal= {arXiv preprint arXiv:2204.09222},
year = {2022}
}
备注
NeurIPS 2022 camera ready