三思而后行：组合泛化的一个简单基线
机器学习
2020-10-02 v2 机器学习
摘要
与现代神经网络难以做到这一点相反，人类具备将熟悉表达重组以创造新颖表达的能力。近来引入的基准数据集“gSCAN”（Ruis等人，2020）强调了此点，旨在评估模型在具身语言理解中组合泛化的表现。本工作中，我们挑战gSCAN基准，提出一个简单模型，其在gSCAN两个测试划分上取得惊人良好表现。我们的模型基于如下观察：要在gSCAN任务上成功，智能体须先（i）识别目标对象（思考），再（ii）成功导航至该对象（行动）。具体而言，我们提出对（Ruis等人，2020）基线模型的注意力启发式修改，以及考虑步骤（i）与（ii）顺序性质的辅助损失。虽然两个组合任务被我们的方法轻易解决，我们也发现其余任务仍未解决，验证了gSCAN作为评估模型组合能力基准的相关性。
引用
@article{arxiv.2009.13962,
title = {Think before you act: A simple baseline for compositional generalization},
author = {Christina Heinze-Deml and Diane Bouchacourt},
journal= {arXiv preprint arXiv:2009.13962},
year = {2020}
}