用于符号涌现的多智能体多模态分类：基于人际跨模态推断的涌现通信
人工智能
2021-09-16 v1 计算与语言
摘要
本文描述了一种实现涌现通信的多智能体多模态分类计算模型。我们阐明了该计算模型能否在符号涌现系统中复现以下功能，该系统由两个具有不同感知模态的智能体进行命名游戏构成。（1）通过智能体个体学习与智能体间符号学通信，形成由感知类别及对应符号构成的共享词汇系统的功能。（2）即使各智能体部分感知模态缺失，也能通过与另一智能体符号学通信提高该智能体分类准确性的功能。（3）智能体基于从另一智能体采样的符号，以跨模态推断相同方式推断未观测感知信息的功能。我们提出人际多模态狄利克雷混合（Inter-MDM），其由集成两个狄利克雷混合（DM）得到的整合概率生成模型分解推导而来。马尔可夫链蒙特卡洛算法实现了涌现通信。实验结果表明，Inter-MDM使智能体能够形成多模态类别并在智能体间恰当地共享符号。研究表明，即使部分感知模态缺失，涌现通信也能提升分类准确性。Inter-MDM使智能体能够基于共享符号预测未观测信息。
引用
@article{arxiv.2109.07194,
title = {Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference},
author = {Yoshinobu Hagiwara and Kazuma Furukawa and Akira Taniguchi and Tadahiro Taniguchi},
journal= {arXiv preprint arXiv:2109.07194},
year = {2021}
}
备注
27 pages, 5 figures, 12 tables