高效多任务推理：基于Gromov-Wasserstein特征对齐的模型合并
计算与语言
2025-03-14 v1
摘要
自动评分学生作答有助于提升教育效率，但为每个任务部署独立的神经网络会增加存储需求、维护工作量和冗余计算。为应对这些挑战，本文提出了Gromov-Wasserstein评分模型合并（GW-SMM）方法，该方法基于通过Gromov-Wasserstein距离衡量的特征分布相似性来合并模型。我们的方法首先利用各独立模型从学生作答中提取特征，捕捉题目特定的上下文和独特的已学表示。Gromov-Wasserstein距离随后量化这些特征分布之间的相似性，识别最兼容的模型进行合并。表现出最小成对距离的模型（通常为两两或三三组合）通过仅合并分类头之前的共享层来进行合并。该策略产生统一的特征提取器，同时保留独立的分类头以进行题目特定评分。我们将所提方法与人类专家知识和基于GPT-o1的合并方法进行了验证。GW-SMM持续优于两者，在微F1分数、宏F1分数、精确匹配准确率和逐标签准确率上均取得更高提升。微F1和逐标签准确率的提升相对于GPT-o1合并方法具有统计显著性（p=0.04，p=0.01）。此外，GW-SMM将存储需求减少了一半而未显著牺牲准确率，展示了其计算效率与可靠的评分性能。
引用
@article{arxiv.2503.09774,
title = {Efficient Multi-Task Inferencing: Model Merging with Gromov-Wasserstein Feature Alignment},
author = {Luyang Fang and Ehsan Latif and Haoran Lu and Yifan Zhou and Ping Ma and Xiaoming Zhai},
journal= {arXiv preprint arXiv:2503.09774},
year = {2025}
}
备注
Submitted to AIED2025