mForms：基于问答的多模态表单填充
人工智能
2024-03-26 v4
摘要
本文提出一种通过将任务重构为多模态自然语言问答（QA）的表单填充新方法。该重构首先通过将GUI表单上的元素（文本字段、按钮、图标等）转换为自然语言问题来实现，这些问题捕捉了元素的多模态语义。在确定表单元素（问题）与用户话语（答案）之间的匹配后，通过预训练抽取式QA系统填充表单元素。通过利用预训练QA模型且不需要特定于表单的训练，这种表单填充方法是零样本的。本文还提出了一种通过使用多任务训练来纳入潜在大量连续任务以进一步精炼表单填充的方法。最后，本文介绍了多模态自然语言表单填充数据集Multimodal Forms（mForms），以及流行的ATIS数据集的多模态扩展，以支持未来的研究与实验。结果表明，新方法不仅在稀疏训练条件下保持鲁棒精度，而且在约1/10训练数据量下在ATIS上取得了0.97的SOTA F1值。
引用
@article{arxiv.2011.12340,
title = {mForms : Multimodal Form-Filling with Question Answering},
author = {Larry Heck and Simon Heck and Anirudh Sundar},
journal= {arXiv preprint arXiv:2011.12340},
year = {2024}
}
备注
5 pages, 6 figures, 4 tables