利用 GPT-4 恢复遮挡顺序
计算机视觉与模式识别
2025-09-29 v1
摘要
对于当前的视觉模型而言，遮挡仍然是其稳健解释复杂且密集的真实世界图像和场景的重大挑战。为了解决这一局限性并实现对物体间遮挡顺序关系的准确预测，我们提出利用预训练 GPT-4 模型的先进能力来推断该顺序。通过提供专门设计的提示词以及输入图像，GPT-4 可以分析图像并生成顺序预测。随后可以解析响应以构建遮挡矩阵，该矩阵可用于辅助其他遮挡处理任务和图像理解。我们报告了在 COCOA 和 InstaOrder 数据集上评估模型的结果。结果表明，通过使用语义上下文、视觉模式和常识知识，该模型可以产生更准确的顺序预测。与基线方法不同，该模型能够以零样本方式推理遮挡关系，这不需要带标注的训练数据，并且可以轻松集成到遮挡处理框架中。
引用
@article{arxiv.2509.22383,
title = {GPT-4 for Occlusion Order Recovery},
author = {Kaziwa Saleh and Zhyar Rzgar K Rostam and Sándor Szénási and Zoltán Vámossy},
journal= {arXiv preprint arXiv:2509.22383},
year = {2025}
}
备注
6 pages, 4 figures