用于长度泛化的单调位置注意力
机器学习
2023-06-01 v1 人工智能
计算与语言
摘要
我们探索在 seq2seq 网络中利用基于位置的跨注意力以实现算法任务中长度泛化的不同方式。我们表明，将原始与反转编码表示插值并结合相对注意力的简单方法，可对前向与反向查找任务或复制任务实现近乎完美的长度泛化，而这些任务通常难以处理。我们还设计了更难的诊断任务，其中理想注意力位置的相对距离随时间步变化。在此类设定下，结合相对注意力的简单插值技巧尚不充分。我们基于 Dubois 等人（2020）引入了新的位置注意力变体以应对新诊断任务。我们还展示了我们的方法在 SCAN（Lake & Baroni, 2018）与 CFQ（Keysers 等人, 2020）中长度泛化的益处。我们的代码已在 GitHub 上提供。
引用
@article{arxiv.2305.20019,
title = {Monotonic Location Attention for Length Generalization},
author = {Jishnu Ray Chowdhury and Cornelia Caragea},
journal= {arXiv preprint arXiv:2305.20019},
year = {2023}
}
备注
Accepted in ICML 2023