通过语言引导的示范学习提升零样例计数
计算机视觉与模式识别
2024-02-09 v1
摘要
最近, Class-Agnostic Counting (CAC) 问题因其独特的普适性和优异的效率而逐�引人注目,相较于 Category-Specific Counting (CSC)。本文提出一种新型 ExpressCount 通过深入探索语言引导的示范学习来增强零样例目标计数。具体而言, ExpressCount 包含一种创新的 Language-oriented Exemplar Perceptron 以及下游的视觉 Zero-shot Counting 流水线。其中,感知器通过继承来自主流预训练大型语言模型 (LLM) 的丰富语义先验,着重利用准确的示范线索进行协作语言-视觉信号的挖掘;而计数流水线则通过双分支和跨注意力方案来挖掘细粒度特征,为高质量的相似性学习贡献。除了在 LLM 和视觉计数任务之间架起桥梁,表达式引导的示范估计显著提升了针对任意类别计数实例的零样例学习能力。此外,构建带有细致语言表达式注释的 FSC-147-Express 数据集开创了基于语言的计数模型开发与验证的新范畴。大量实验表明,我们的 ExpressCount 实现了最先进的性能,甚至在准确率上与部分 CSC 模型持平。
引用
@article{arxiv.2402.05394,
title = {Enhancing Zero-shot Counting via Language-guided Exemplar Learning},
author = {Mingjie Wang and Jun Zhou and Yong Dai and Eric Buys and Minglun Gong},
journal= {arXiv preprint arXiv:2402.05394},
year = {2024}
}