在有限监督与不一致输入下学习双向动作-语言翻译
计算与语言
2023-02-23 v2 人工智能
神经与进化计算
机器人学
摘要
人类婴儿学习发生在对环境的探索中,通过与物体交互,以及随意地听并重复话语,类似于无监督学习。仅在偶尔情况下,学习中的婴儿会接收到其正在执行的动作的匹配语言描述,这类似于监督学习。这种学习机制可用深度学习来模拟。我们使用配对门控自编码器(PGAE)模型对这种弱监督学习范式建模,该模型结合了动作自编码器和语言自编码器。在观察到降低监督训练比例导致性能下降后,我们引入了配对变换自编码器(PTAE)模型,使用基于Transformer的跨模态注意力。PTAE在语言到动作和动作到语言的翻译中实现了显著更高的准确率,尤其在仅有少量监督训练样本可用的现实但困难情况下。我们还测试了训练模型在冲突多模态输入下是否表现现实。根据心理学中的不一致性概念,冲突会恶化模型输出。冲突的动作输入比冲突的语言输入影响更严重,且更多冲突特征导致更大干扰。PTAE可在多数无标签数据上训练,其中标签数据稀缺,并且在用不一致输入测试时表现合理。
引用
@article{arxiv.2301.03353,
title = {Learning Bidirectional Action-Language Translation with Limited Supervision and Incongruent Input},
author = {Ozan Özdemir and Matthias Kerzel and Cornelius Weber and Jae Hee Lee and Muhammad Burhan Hafez and Patrick Bruns and Stefan Wermter},
journal= {arXiv preprint arXiv:2301.03353},
year = {2023}
}
备注
Published in: Applied Artificial Intelligence, 37:1, 2179167