基于接地图解码改进问答中的组合泛化
计算与语言
2021-11-08 v1 机器学习
摘要
问答模型难以泛化到训练模式的新型组合，例如更长的序列或更复杂的测试结构。当前的端到端模型学习扁平的输入嵌入，可能丢失输入语法上下文。先前的方法通过学习置换不变模型来改进泛化，但这些方法无法扩展到更复杂的训练-测试划分。我们提出接地图解码（Grounded Graph Decoding），一种通过用注意力机制对结构化预测进行接地来改进语言表示组合泛化的方法。接地使模型能够保留输入中的语法信息，从而显著改进对复杂输入的泛化。通过预测包含查询子句合取的结构化图，我们学习了群不变表示，而无需对目标域做假设。我们的模型在组合Freebase问答（CFQ）数据集（一个问答中组合泛化的挑战性基准）上显著优于最先进的基线。此外，我们以98%的准确率有效解决了MCD1划分。
引用
@article{arxiv.2111.03642,
title = {Grounded Graph Decoding Improves Compositional Generalization in Question Answering},
author = {Yu Gai and Paras Jain and Wendi Zhang and Joseph E. Gonzalez and Dawn Song and Ion Stoica},
journal= {arXiv preprint arXiv:2111.03642},
year = {2021}
}
备注
To be published in Findings of EMNLP 2021. Code available at https://github.com/gaiyu0/cfq