多模态大型语言模型自我改进研究综述

近期大型语言模型（LLM）自我改进方面的研究进展在不显著增加成本（特别是人力成本）的情况下，高效提升了模型能力。尽管该领域仍相对年轻，但将其扩展到多模态领域具有巨大的潜力，可利用多样化的数据源发展出更通用的自我改进模型。本综述是首次提供关于多模态大型语言模型（MLLM）自我改进全面概述的工作。我们提供了结构化的当前文献概述，并从三个视角讨论方法：1）数据收集、2）数据组织和3）模型优化，以促进多模态大型语言模型自我改进的进一步发展。我们还包括常用评估方法和下游应用。最后，我们概述了开放性挑战和未来研究方向。