ChartMoE：用于图表理解的多样化对齐专家混合连接器
人工智能
2025-03-17 v3 计算与语言
计算机视觉与模式识别
摘要
自动图表理解对于内容理解和文档解析至关重要。多模态大语言模型 (MLLMs) 通过特定领域的对齐和微调，在图表理解方面展现出了卓越的能力。然而，当前 MLLMs 仍然难以仅基于图表提供可靠的数据和可信的分析。为了解决这一问题，我们提出了 ChartMoE，它采用混合专家 架构来取代传统的线性投影器，以弥合模态差距。具体而言，我们通过不同的对齐任务训练了多个线性连接器，并将其用作不同专家的基础初始化参数。此外，我们引入了 ChartMoE-Align，这是一个包含近 100 万个图表-表格-JSON-代码四元组的数据集，用于执行三项对齐任务（图表-表格/JSON/代码）。结合原始连接器，我们多样化地初始化不同的专家，并采用高质量知识学习来进一步优化 MoE 连接器和 LLM 参数。大量实验证明了 MoE 连接器及其初始化策略的有效性，例如，在 ChartQA 基准测试中，ChartMoE 将先前 SOTA 的准确率从 80.48% 提升至 84.64%。
引用
@article{arxiv.2409.03277,
title = {ChartMoE: Mixture of Diversely Aligned Expert Connector for Chart Understanding},
author = {Zhengzhuo Xu and Bowen Qu and Yiyan Qi and Sinan Du and Chengjin Xu and Chun Yuan and Jian Guo},
journal= {arXiv preprint arXiv:2409.03277},
year = {2025}
}