EZ-Sort：基于零-shot CLIP 的高效两两比较与人类在回路排序
计算机视觉与模式识别
2025-09-01 v1 人工智能
摘要
两两比较常用于主观或难以标注的任务中，以提高可靠性，优于绝对评分或序数分类。然而，穷举比较需要大量标注(O(n^2))。最近的工作通过排序算法主动抽样两两比较，将标注负担大幅降低至 O(n log n)。本文进一步提高标注效率：(1) 使用 Contrastive Language-Image Pre-training (CLIP) 模型在层次结构中进行零-shot 粗略排序，(2) 用自动化比较取代容易明显的人类比较。提出的 EZ-Sort 首先生成 CLIP 基于零-shot 排序，然后初始化 bucket-aware Elo 分数，最后运行基于不确定性引导的人类在回路 MergeSort。我们在多个数据集上进行验证：面孔年龄估计(FGNET)、历史图像年代(DHCI)和视网膜图像质量评估(EyePACS)。结果表明，EZ-Sort 相对于穷举两两比较将人类标注成本降低 90.5%，相对于先前工作降低 19.8%(当 n=100 时)，同时保持或提高了人类标注者可靠性。这些结果表明，结合 CLIP 基于先验与不确定性感知抽样，可实现高效可扩展的两两排序解决方案。
引用
@article{arxiv.2508.21550,
title = {EZ-Sort: Efficient Pairwise Comparison via Zero-Shot CLIP-Based Pre-Ordering and Human-in-the-Loop Sorting},
author = {Yujin Park and Haejun Chung and Ikbeom Jang},
journal= {arXiv preprint arXiv:2508.21550},
year = {2025}
}
备注
5 pages, 2 figures, Accepted at CIKM 2025 (ACM International Conference on Information and Knowledge Management)