CVPR 2024 NICE 挑战赛技术报告：基于集成 CLIP 与共识分数的描述重排序评估
计算机视觉与模式识别
2024-06-14 v2
摘要
本报告介绍了来自 DSBA LAB 团队的 ECO（Ensembled Clip score and cOnsensus score）流水线，这是一种用于评估和排序给定图像描述的新框架。ECO 选择最能准确描述图像的描述。这通过结合考虑图像与描述之间语义对齐的集成 CLIP 分数，以及考量描述本质性的共识分数来实现。使用该框架，我们在 CVPR 2024 关于零样本图像描述评估新前沿（NICE）的描述重排序评估研讨会挑战赛中取得了显著成功。具体而言，我们在 CIDEr 指标上获得第三名，在 SPICE 和 METEOR 指标上均获得第二名，并在 ROUGE-L 和所有 BLEU 分数指标上获得第一名。ECO 框架的代码和配置可在 https://github.com/DSBA-Lab/ECO 获取。
引用
@article{arxiv.2405.01028,
title = {Technical Report of NICE Challenge at CVPR 2024: Caption Re-ranking Evaluation Using Ensembled CLIP and Consensus Scores},
author = {Kiyoon Jeong and Woojun Lee and Woongchan Nam and Minjeong Ma and Pilsung Kang},
journal= {arXiv preprint arXiv:2405.01028},
year = {2024}
}