* -CFQ: 分析机器学习在组合任务上的可扩展性
机器学习
2020-12-16 v1 计算与语言
摘要
我们提出 *-CFQ(“star-CFQ”):一套基于 CFQ 语义解析基准、范围各异的大规模数据集套件,旨在对现实组合任务设定下机器学习系统的可扩展性进行有原则的研究。利用该套件,我们进行了一系列实验,考察 Transformer 在固定计算成本条件下从增加训练规模中获益的能力。我们表明组合泛化在所有训练规模下仍具挑战性,并表明增加自然语言的范围会导致持续更高的错误率,而增加的训练数据仅能部分抵消该错误率。我们进一步表明,虽然来自相关领域的额外训练数据在数据匮乏情形下提升了准确率,但该提升有限且随着相关领域到目标领域距离增大而减弱。
引用
@article{arxiv.2012.08266,
title = {*-CFQ: Analyzing the Scalability of Machine Learning on a Compositional Task},
author = {Dmitry Tsarkov and Tibor Tihon and Nathan Scales and Nikola Momchev and Danila Sinopalnikov and Nathanael Schärli},
journal= {arXiv preprint arXiv:2012.08266},
year = {2020}
}
备注
Accepted, AAAI-21