UKP-SQuARE v3:一个面向多智能体问答研究的平台
计算与语言
2023-05-18 v2
摘要
问答(QA)数据集的持续发展引起了研究界对多领域模型的关注。一种流行的方法是使用多数据集模型,即在多个数据集上训练的模型以学习其规律并防止对单一数据集的过拟合。然而,随着GitHub或Hugging Face等在线仓库中QA模型的激增,一种替代方案正变得可行。近期工作表明,组合专家智能体可比多数据集模型带来大幅性能提升。为简化多智能体模型的研究,我们扩展了用于QA研究的在线平台UKP-SQuARE,以支持三类多智能体系统:i) 智能体选择,ii) 智能体早期融合,以及 iii) 智能体晚期融合。我们进行了实验以评估其推理速度,并讨论了相较于多数据集模型的性能与速度权衡。UKP-SQuARE是开源的,可在 http://square.ukp-lab.de 公开获取。
引用
@article{arxiv.2303.18120,
title = {UKP-SQuARE v3: A Platform for Multi-Agent QA Research},
author = {Haritz Puerto and Tim Baumgärtner and Rachneet Sachdeva and Haishuo Fang and Hao Zhang and Sewin Tariverdian and Kexin Wang and Iryna Gurevych},
journal= {arXiv preprint arXiv:2303.18120},
year = {2023}
}
备注
ACL 2023 Demo Paper