零样本检索：用搜索引擎增强预训练模型
计算机视觉与模式识别
2023-12-01 v1
摘要
大型预训练模型能大幅减少解决问题所需的任务特定数据量，但它们往往无法开箱即用地捕捉领域特定细微差别。Web很可能包含在任何具体应用上表现出色所需的信息，但先验地识别正确数据颇具挑战。本文展示了如何利用NLP和多模态学习的近期进展，以搜索引擎检索增强预训练模型。我们提出在测试时基于模型不确定的测试用例从Web检索有用数据。不同于现有检索增强方法，我们随后更新模型以解决该潜在不确定性。我们展示了零样本性能的显著提升，例如在Stanford Cars和Flowers数据集上准确率惊人地提高了15个百分点。我们还呈现了探究噪声检索与不同学习策略影响的广泛实验。
引用
@article{arxiv.2311.17949,
title = {Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines},
author = {Hamed Damirchi and Cristian Rodríguez-Opazo and Ehsan Abbasnejad and Damien Teney and Javen Qinfeng Shi and Stephen Gould and Anton van den Hengel},
journal= {arXiv preprint arXiv:2311.17949},
year = {2023}
}