Internet Explorer：开放网络上的目标表示学习

Alexander C. Li; Ellis Brown; Alexei A. Efros; Deepak Pathak

Internet Explorer：开放网络上的目标表示学习

机器学习 2023-09-08 v2 人工智能计算机视觉与模式识别神经与进化计算机器人学

作者: Alexander C. Li , Ellis Brown , Alexei A. Efros , Deepak Pathak

摘要

现代视觉模型通常依赖于对在大型静态数据集上预训练的通用模型进行微调。这些通用模型仅捕获其预训练数据集内的知识，而这些数据集只是互联网的微小且过时的快照——互联网上每天上传数十亿张图像。我们提出一种替代方法：与其希望在大规模预训练后我们的静态数据集能迁移至所需任务，我们建议动态利用互联网来快速训练一个在当下任务上表现极佳的小规模模型。我们的方法称为Internet Explorer，它以自监督方式探索网络，逐步寻找能提升在目标数据集上性能的相关样本。它在用文本查询搜索互联网图像、对下载图像进行自监督训练、判定哪些图像有用、以及优先安排下一步搜索内容之间循环。我们在多个数据集上评估Internet Explorer，并表明仅使用单台GPU台式机主动查询互联网30–40小时，其性能便优于或匹敌CLIP oracle表现。结果、可视化与视频见 https://internet-explorer-ssl.github.io/

关键词

表示学习自监督学习网络数据目标数据集 CLIP 主动查询视觉模型

引用

@article{arxiv.2302.14051,
  title  = {Internet Explorer: Targeted Representation Learning on the Open Web},
  author = {Alexander C. Li and Ellis Brown and Alexei A. Efros and Deepak Pathak},
  journal= {arXiv preprint arXiv:2302.14051},
  year   = {2023}
}

备注

In ICML 2023. Website at https://internet-explorer-ssl.github.io/

Internet Explorer：开放网络上的目标表示学习

摘要

关键词

引用

备注

相关论文