基于视觉关联的零样本目标计数
计算机视觉与模式识别
2024-07-10 v2
摘要
零样本目标计数（ZOC）旨在仅使用对象类别名称即可对图像中的对象进行计数，无需手动标注。然而，当前 ZOC 方法的关键挑战在于无法有效识别高质量的示例。这一缺陷阻碍了跨类别的可扩展性，并削弱了识别类别与图像内容之间强烈视觉关联的发展。为此，我们提出了视觉关联基于零样本目标计数（VA-Count）框架。VA-Count 由示例强化模块（EEM）和噪声抑制模块（NSM）组成，两者协同优化类别示例识别过程，同时最小化错误对象识别的影响。EEM 利用先进的视觉语言预训练模型发现潜在示例，确保框架对各种类别的适应性。与此同时，NSM 采用对比学习区分最佳和次优示例对，减少错误示例的负面影响。VA-Count 在零样本环境下展现出有效性和可扩展性，在两个对象计数数据集上实现卓越的性能。
引用
@article{arxiv.2407.04948,
title = {Zero-shot Object Counting with Good Exemplars},
author = {Huilin Zhu and Jingling Yuan and Zhengwei Yang and Yu Guo and Zheng Wang and Xian Zhong and Shengfeng He},
journal= {arXiv preprint arXiv:2407.04948},
year = {2024}
}