持续人物搜索的提示工程
人工智能
2025-11-17 v4 计算机与社会
摘要
近年来，人物搜索技术的发展因其卓越的实用性和挑战性目标而取得了显著进展。尽管取得了显著进展，但现有人物搜索模型仍缺乏持续从增加的真实世界数据中学习并适应性地处理来自不同领域的输入的能力。为此，本工作引入了持续人物搜索任务，该任务在多个领域顺序学习后，然后在所有已见领域上执行人物搜索。这需要在持续学习新知识而不发生灾难性遗忘之间平衡模型的稳定性和塑性。在此基础上，我们提出了基于提示的人持续人物搜索（PoPS）模型。首先，我们设计了一个组成化人物搜索变换器，以构建有效的预训练变换器，而无需在大规模人物搜索数据上从头进行详尽预训练。这作为基于提示的持续学习的基础。此外，我们设计了一个具有多样化属性匹配模块的领域增量提示池。对于每个领域，我们独立学习一组提示来编码领域导向的知识。同时，我们联合学习一组多样化的属性投影和原型嵌入，以捕获判别性领域属性。通过将输入图像与跨领域学习的属性进行匹配，所学提示可以为模型推理正确选择。对所提出方法进行了大量实验验证，以验证持续人物搜索的有效性。源代码可在 https://github.com/PatrickZad/PoPS 获取。
引用
@article{arxiv.2410.19238,
title = {Designing AI-Agents with Personalities: A Psychometric Approach},
author = {Muhua Huang and Xijuan Zhang and Christopher Soto and James Evans},
journal= {arXiv preprint arXiv:2410.19238},
year = {2025}
}