利用数据集制图提升 Transformer 的组合泛化能力
计算与语言
2023-10-19 v1
摘要
神经网络已彻底改变了语言建模，并在各种下游任务中表现出色。然而，这些模型在多大程度上实现了可与人类认知能力相媲美的组合泛化，仍是一个有争议的话题。虽然该领域现有方法主要聚焦于新颖架构与替代学习范式，我们引入了一种利用数据集制图（Swayamdipta et al., 2020）力量的开创性方法。通过该方法策略性地识别组合泛化数据的子集，我们实现了模型准确率的显著提升，在 CFQ 和 COGS 数据集上取得了高达 10% 的改进。值得注意的是，我们的技术将数据集制图作为课程学习准则，无需超参数调优即可持续取得更优性能。我们的发现凸显了数据集制图在释放 Transformer 模型组合泛化全部潜力方面尚未被发掘的潜能。我们的代码可在 https://github.com/cyberiada/cartography-for-compositionality 获取。
引用
@article{arxiv.2310.12118,
title = {Harnessing Dataset Cartography for Improved Compositional Generalization in Transformers},
author = {Osman Batur İnce and Tanin Zeraati and Semih Yagcioglu and Yadollah Yaghoobzadeh and Erkut Erdem and Aykut Erdem},
journal= {arXiv preprint arXiv:2310.12118},
year = {2023}
}
备注
Accepted to Findings of EMNLP 2023