OpenworldAUC：面向开放世界提示调优的统一评估与优化
机器学习
2025-05-09 v1
摘要
提示调优适用于视觉语言模型（如 CLIP）以应对开放世界任务，训练成本极低。在此方向上，典型方法是分别评估已知类别（即基域）和未见类别（即新域）上的模型性能。然而，现实场景要求模型在无先验域知识的情况下处理输入。这一实际挑战催生了开放世界提示调优技术，其要求对两个阶段进行统一评估：1）检测输入是否属于基域或新域（P1），以及2）将样本分类到正确类别（P2）。此外，由于域分布通常未知，合适的指标应对基域/新域样本比例变化保持不敏感性（P3）。然而，我们发现当前指标（包括 HM、整体准确率和 AUROC）无法同时满足这三个属性。为弥合这一差距，我们提出了 OpenworldAUC，一种通过成对实例比较联合评估检测与分类的统一指标。为有效优化 OpenworldAUC，我们引入门控混合提示（Gated Mixture-of-Prompts, GMoP），其采用域特定提示和门控机制以动态平衡检测与分类。理论保证确保 GMoP 在实际条件下具备良好泛化性。实验在 15 个开放世界场景基准上表明，GMoP 在 OpenworldAUC 及其他指标上实现了 SOTA 性能。我们已在 https://github.com/huacong/OpenworldAUC 上发布代码。
关键词
引用
@article{arxiv.2505.05180,
title = {OpenworldAUC: Towards Unified Evaluation and Optimization for Open-world Prompt Tuning},
author = {Cong Hua and Qianqian Xu and Zhiyong Yang and Zitai Wang and Shilong Bao and Qingming Huang},
journal= {arXiv preprint arXiv:2505.05180},
year = {2025}
}
备注
This paper has been accepted by ICML2025