四目比二目更好：通过差异化思考与互补集团发�挥大型模型的协作潜力
计算机视觉与模式识别
2025-06-10 v2
摘要
本文提出了 Ego4D EgoSchema 挑战赛的亚军解答方案 (于 2025 年 5 月 20 日确认)。灵感来源于大型模型的成功，我们评估并利用可访问的领先多模态大型模型，并通过 few-shot 学习和模型集成策略将其适用于视频理解任务。具体而言，系统地探索和评估多样化的 prompt 样式和 process 模式，以有效引导大型模型的注意力，充分释放其强大的泛化和适应能力。实验结果表明，经过我们仔细设计的方案，直接利用单个多模态模型已超过包括多个额外工序的前沿 (SOTA) 方法。此外，进一步引入一个额外阶段，以促进周期性结果的合作与集成，取得了显著的性能提升。我们希望本工作为大型模型的实际应用提供有价值的参考，并激发该领域的未来研究。我们的代码已公开于 https://github.com/XiongjunGuan/EgoSchema-CVPR25。
引用
@article{arxiv.2505.16784,
title = {Four Eyes Are Better Than Two: Harnessing the Collaborative Potential of Large Models via Differentiated Thinking and Complementary Ensembles},
author = {Jun Xie and Xiongjun Guan and Yingjian Zhu and Zhaoran Zhao and Xinming Wang and Hongzhu Yi and Feng Chen and Zhepeng Wang},
journal= {arXiv preprint arXiv:2505.16784},
year = {2025}
}