DaMo：面向移动电话智能体的多模态大语言模型数据混合优化器
计算机视觉与模式识别
2025-10-23 v1
摘要
移动电话智能体（MPAs）因其在多种场景中的广泛应用而成为值得关注的研究方向。尽管多模态大语言模型（MLLMs）是MPAs的基础，但其在处理多个移动电话任务方面的效果有限。虽然多任务监督微调（SFT）是多任务学习中广泛采用的方法，但现有方法难以确定以实现最佳性能的数据组成。为此，我们提出DaMo（Data Mixture Optimizer）——一种新颖解决方案，采用可训练网络预测给定数据比例的下游任务性能，以确定最优数据混合配置。为支持全面评估，我们引入PhoneAgentBench——首个专注于评估MLLMs在多模态移动电话任务上的基准，涵盖1235个QA对，涵盖多样化的真实世界工业移动应用场景。我们的实验显示，DaMo在小规模试点实验中展现出强大的预测能力（R^2=0.81），能够高效外推最优数据混合配置。我们的结果表明，DaMo在PhoneAgentBench上相较于其他方法实现了3.38%的性能提升。此外，针对BFCL-v3、MME-Reasoning、MME-Perception和OCRBench等既有基准的广泛实验表明，DaMo在一般化方面表现卓越，平均得分比其他方法高出2.57%。值得注意的是，仅用于MLLM优化的DaMo在BFCL-v3任务上可实现指标提升12.47%。值得注意的是，DaMo保持了强大的可扩展性，在应用于其他模型架构时仍能保持其有效性。代码和数据集均可在https://github.com/OPPO-Mente-Lab/DaMo.git获取。
引用
@article{arxiv.2510.19336,
title = {DaMo: Data Mixing Optimizer in Fine-tuning Multimodal LLMs for Mobile Phone Agents},
author = {Kai Shi and Jun Yang and Ni Yang and Binqiang Pan and Qingsong Xie and Chao Zhang and Zhenyu Yang and Tianhuang Su and Haonan Lu},
journal= {arXiv preprint arXiv:2510.19336},
year = {2025}
}