PIGLeT：通过 3D 世界中的神经-符号交互实现语言接地
计算与语言
2022-02-01 v2 人工智能
摘要
我们提出 PIGLeT：一个通过交互学习物理常识知识，然后利用该知识实现语言接地的模型。我们将 PIGLeT 分解为一个物理动力学模型和一个独立的语言模型。我们的动力学模型不仅学习物体是什么，还学习它们做什么：玻璃杯被扔出时会破碎，塑料杯则不会。然后我们将其用作语言模型的接口，从而得到 linguistic form 与接地的 meaning 的统一模型。PIGLeT 可以读取句子，神经模拟接下来可能发生的事情，然后通过字面符号表示或自然语言传达该结果。实验结果表明，我们的模型有效地学习了世界动力学以及如何传达它们。它能够根据给定的英文句子正确预测“接下来发生什么”的概率超过 80%，优于一个规模大 100 倍、text-to-text 的方法超过 10%。同样，其对物理交互的自然语言摘要也被人类评判为比 LM 替代方案更准确。我们给出了综合分析，显示了未来工作的空间。
引用
@article{arxiv.2106.00188,
title = {PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World},
author = {Rowan Zellers and Ari Holtzman and Matthew Peters and Roozbeh Mottaghi and Aniruddha Kembhavi and Ali Farhadi and Yejin Choi},
journal= {arXiv preprint arXiv:2106.00188},
year = {2022}
}
备注
ACL 2021 camera ready, project page at https://rowanzellers.com/piglet/