将地理多样化知识融入提示学习以增强物体识别的地理鲁棒性

现有物体识别模型已被证明在多样化地理场景中缺乏鲁棒性，原因是设计和上下文中的领域偏移。类别表示需要调整，以更准确地反映这些偏移下的物体概念。在缺乏目标地理区域训练数据的情况下，我们假设类别的地理多样化描述性知识可以增强鲁棒性。为此，我们探索了从大语言模型中探测基于地理的物体知识的可行性，并研究了将知识集成到基于CLIP的零样本和可学习软提示中的效果。在这一探索中，我们提出了地理知识正则化，以确保在源地理集上训练的软提示能够泛化到未见过的目标集。在仅使用欧洲数据训练的情况下，在DollarStreet数据集上，相对于提示基线，在非洲/亚洲/美洲的目标数据上准确率提升高达+2.8/1.2/1.6，在最难类别上整体提升+4.6。与少样本目标训练相比，展示了竞争性能，并提供了分析以指导未来对地理鲁棒性的研究。