面向图形化感觉-运动通信涌现的对比多模态学习
人工智能
2023-02-15 v2 计算与语言
机器学习
摘要
本文研究人工智能体是否能在通信依赖感觉-运动通道的生态化环境中发展出共享语言。为此，我们引入图形指称游戏（GREG）：说话者须生成图形话语以命名视觉指称对象，而听者须根据传递的消息在干扰指称对象中选出对应对象。话语是使用动态运动基元结合素描库绘制的图像。为应对GREG，我们提出CURVES：一种多模态对比深度学习机制，其表示通过在学习能量景观上梯度上升所生成的指称对象与话语之间的能量（对齐）。我们证明CURVES不仅成功解决GREG，还使智能体自组织出可泛化到训练期间从未见过的特征组合的语言。除评估我们方法的通信性能外，我们也探究涌现语言的结构。具体地，我们表明所得语言形成了智能体间共享的连贯词库，且对图形产物的基本组合规则无法解释该组合泛化。
引用
@article{arxiv.2210.06468,
title = {Contrastive Multimodal Learning for Emergence of Graphical Sensory-Motor Communication},
author = {Tristan Karch and Yoann Lemesle and Romain Laroche and Clément Moulin-Frier and Pierre-Yves Oudeyer},
journal= {arXiv preprint arXiv:2210.06468},
year = {2023}
}