面向 OOD-CV UNICORN Challenge 2024 的目标检测辅助大语言模型计数能力提升方案
计算机视觉与模式识别
2024-10-23 v1
摘要
本报告详细描述了我们在 ECCV OOD-CV UNICORN Challenge 2024 中探索并提出的方法，旨在提高大语言模型响应的鲁棒性。本次比赛数据集为 OODCA-VQA 和 SketchyQA。为测试模型的鲁棒性，组织者推出了两个数据集变体：OODCV-Counterfactual 和 Sketchy-Challenging。这些数据集存在若干困难：首先，Sketchy-Challenging 数据集使用较少见的物品类别以测试模型的泛化能力；其次，在 OODCV-Counterfactual 数据集中，给定的问题常涉及拐点和计算步骤，要求模型在推理过程中识别这些要素。为此，我们提出一种简单而有效的方法，称为目标检测辅助大语言模型计数能力提升(Object Detection Assistance Large Language Model Counting Ability Improvement, 简称 ODAC)，其核心在于利用目标检测模型辅助大语言模型。明确地说，我们的方法包含两个主要模块：(1) 目标检测辅助；(2) 反事实特定提示。我们的方案在最终测试中获得了 0.86 的得分，排名第二。
引用
@article{arxiv.2410.16287,
title = {Solution for OOD-CV UNICORN Challenge 2024 Object Detection Assistance LLM Counting Ability Improvement},
author = {Zhouyang Chi and Qingyuan Jiang and Yang Yang},
journal= {arXiv preprint arXiv:2410.16287},
year = {2024}
}