借助程序化数据分离知识与感知
计算机视觉与模式识别
2025-08-19 v1 人工智能
摘要
我们仅使用程序化数据训练表征模型，并通过使用视觉记忆——即参考图像嵌入的显式数据库——应用于视觉相似性、分类和语义分割任务，无需进一步训练。与先前的视觉记忆工作不同，我们的方法在所有真实世界图像上实现完全隔离，同时保持强性能。与在 Places 上训练的模型相比，我们的程序化模型在 NIGHTS 视觉相似性上表现得在 1% 内，在 CUB200 和 Flowers102 精细分类中超出 8% 和 15%，在 ImageNet-1K 分类中在 10% 内。它还显示出强大的零样本分割能力，实现的 COCO 上 R² 在实数据训练的模型中的 10% 之内。最后，我们分析程序化数据模型与真实数据模型，发现程序化模型中相同对象的不同部分具有不相似的表征，导致记忆中的错误搜索，从而解释了剩余性能差距。
引用
@article{arxiv.2508.11697,
title = {Separating Knowledge and Perception with Procedural Data},
author = {Adrián Rodríguez-Muñoz and Manel Baradad and Phillip Isola and Antonio Torralba},
journal= {arXiv preprint arXiv:2508.11697},
year = {2025}
}
备注
17 pages, 18 figures, 3 tables, to be published in ICML 2025