疑虑时的行为：seq2seq 学习器的归纳偏置研究
计算与语言
2021-03-30 v2 人工智能
信息论
math.IT
摘要
序列到序列（seq2seq）学习器被广泛使用，但我们对塑造其泛化方式的归纳偏置仍知之有限。为此，我们研究了流行的 seq2seq 学习器在训练数据具有高模糊性的任务中如何泛化。我们使用 SCAN 和三个新任务来研究学习器对记忆、算术、层次及组合推理的偏好。进一步，我们联系所罗门诺夫的归纳理论，并提出使用描述长度作为衡量归纳偏置的一种原则性且敏感的测度。在我们的实验研究中，我们发现基于 LSTM 的学习器能从单个训练样本中学会对常数进行计数、加法和乘法。此外，基于 Transformer 和 LSTM 的学习器表现出相对于线性归纳更倾向于层次归纳的偏置，而基于 CNN 的学习器则偏好相反。在 SCAN 数据集上，我们发现基于 CNN 的学习器，以及在较小程度上基于 Transformer 和 LSTM 的学习器，具有相对于记忆更偏好组合泛化的倾向。最后，在我们所有的实验中，描述长度被证明是归纳偏置的敏感测度。
引用
@article{arxiv.2006.14953,
title = {What they do when in doubt: a study of inductive biases in seq2seq learners},
author = {Eugene Kharitonov and Rahma Chaabouni},
journal= {arXiv preprint arXiv:2006.14953},
year = {2021}
}