基于 StyleGAN 与 CLIP 引导的即时目标检测
计算机视觉与模式识别
2022-11-01 v1 人工智能
机器学习
摘要
我们提出了一种全自动化框架，用于在卫星影像上构建目标检测器，无需任何人工标注或干预。我们通过结合现代生成模型（如 StyleGAN）与多模态学习近期进展（如 CLIP）的能力来实现这一点。尽管深度生成模型能有效编码与数据分布相关的关键语义，这些信息并不能直接用于下游任务，如目标检测。在本工作中，我们利用 CLIP 将图像特征与文本描述相关联的能力来识别生成器网络中的神经元，随后这些神经元被用于即时构建检测器。
引用
@article{arxiv.2210.16742,
title = {On-the-fly Object Detection using StyleGAN with CLIP Guidance},
author = {Yuzhe Lu and Shusen Liu and Jayaraman J. Thiagarajan and Wesam Sakla and Rushil Anirudh},
journal= {arXiv preprint arXiv:2210.16742},
year = {2022}
}