基于指纹检索与推理的无训练个性化
计算机视觉与模式识别
2025-10-17 v2
摘要
视觉语言模型在多模态推理方面取得了重大进展，但它们仍然难以理解用户特定的概念。现有的个性化方法解决了这一局限性，但严重依赖训练过程，这对个人用户而言可能成本高昂或令人不快。我们脱离现有工作，首次在个性化背景下探索无训练设置。我们提出了一种新方法，即个性化检索与推理（R2P），利用 VLMs 的内部知识。首先，我们利用 VLMs 提取概念指纹，即在语义类中唯一定义该概念的关键属性。当查询到达时，通过思维链推理检索并评分最相似的指纹。为了降低幻觉风险，分数在属性级别通过跨模态验证进行验证：如果分数存在差异，R2P 通过成对多模态匹配来细化概念关联，其中检索到的指纹及其图像与查询进行直接比较。我们在两个公开可用的基准测试和一个新引入的用于概念识别的数据集 Personal Concepts with Visual Ambiguity (PerVA) 上验证了 R2P，突出了视觉模糊性带来的挑战。R2P 在所有基准测试的各种下游任务中均持续优于 SOTA 方法。代码将在接收后提供。
引用
@article{arxiv.2503.18623,
title = {Training-Free Personalization via Retrieval and Reasoning on Fingerprints},
author = {Deepayan Das and Davide Talon and Yiming Wang and Massimiliano Mancini and Elisa Ricci},
journal= {arXiv preprint arXiv:2503.18623},
year = {2025}
}