交互式草图问答中的涌现通信
人工智能
2023-10-25 v1 计算机视觉与模式识别
摘要
基于视觉的涌现通信（emergent communication, EC）旨在通过学习通过草图进行交流来揭示人类通信的演化机制。具有讽刺意味的是，以往工作忽视了多轮交互，而这是人类通信中不可或缺的。为填补这一空白，我们首先引入一项新颖的交互式草图问答（Interactive Sketch Question Answering, ISQA）任务，其中两个协作玩家通过草图以多轮方式交互，以回答关于图像的问题。为完成该任务，我们设计了一种新颖且高效的交互式 EC 系统，可在三个评估因素之间实现有效平衡，包括问答准确率、绘图复杂度和人类可解释性。我们的实验结果（含人类评估）表明，多轮交互机制促进了智能体之间具有良好人类可解释性的针对性与高效通信。
引用
@article{arxiv.2310.15597,
title = {Emergent Communication in Interactive Sketch Question Answering},
author = {Zixing Lei and Yiming Zhang and Yuxin Xiong and Siheng Chen},
journal= {arXiv preprint arXiv:2310.15597},
year = {2023}
}
备注
Accepted by NeurIPS 2023