TableMoE：面向多模态表格理解的神经符号路由与结构化专家推理

在真实场景中理解表格具有结构复杂性、符号稠密度和视觉退化（模糊、倾斜、加水印、结构不完整或字体多样、跨列/跨行或分层嵌套布局）等挑战。现有多模态大语言模型（MLLM）在面对此类 WildStruct 条件时表现受限，泛化能力差。为此，我们提出 TableMoE，一种专为处理多模态表格数据而设计的神经符号混合专家（Mixture-of-Connector-Experts, MoCE）架构，旨在实现稳健的结构化推理。TableMoE 具备创新的神经符号路由机制，通过预测潜在语义 token 角色（如表头、数据单元格、坐标轴、公式），并运用由符号推理图构成的置信度感知门控策略，将表格元素动态路由到专门的专家（Table-to-HTML、Table-to-JSON、Table-to-Code）。为促进对齐驱动的预训练，我们引入大规模 TableMoE-Align 数据集，包含 120 万组表格-HTML-JSON-code 四元组，覆盖金融、科学、医药和工业领域，专用于模型预训练。为评估，我们策划并公开四个具有挑战性的 WildStruct 测试基准：WMMFinQA、WMMTatQA、WMMTabDialog 和 WMMFinanceMath，旨在检验模型在真实世界多模态退化与结构复杂性下的鲁棒性。实验结果表明，TableMoE 显著超越现有最先进模型。大量消融实验验证了每个核心组件的有效性，突出神经符号路由和结构化专家对齐的关键作用。通过定性分析，我们进一步展示了 TableMoE 的可解释性和增强鲁棒性，凸显了集成神经符号推理在多模态表格理解中的价值。