面向大型多模态模型的人口统计推理的链条思维提示
计算机视觉与模式识别
2024-05-27 v1 机器学习
摘要
传统的人口统计推理方法主要依赖准确标记的数据,难以适应不断变化的社会景观和多样化的文化背景,导致专业化狭窄、应用准确性有限。最近,大型多模态模型 (LMM) 在各种研究任务中展现出变革性潜力,如视觉理解和描述。在本研究中,我们探索了将 LMM 应用于人口统计推理并引入用于定性和定量评估的基准。我们的发现表明,LMM 在零样本学习、可解释性以及处理非精选“野外”输入方面具有优势,尽管容易产生偏离目标的预测。为了提升 LMM 性能并实现与监督学习基线的可比性,我们提出一种链条思维增强提示方法,有效缓解了偏离目标预测问题。
引用
@article{arxiv.2405.15687,
title = {Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models},
author = {Yongsheng Yu and Jiebo Luo},
journal= {arXiv preprint arXiv:2405.15687},
year = {2024}
}
备注
Accepted to ICME 2024