AMII：用于自适应行为合成的自适应多模态人际与内人际模型
人机交互
2023-05-22 v1 机器学习
声音
音频与语音处理
摘要
社交交互智能体(SIAs)是表现出与人类多模态行为相似行为的物理或虚拟具身智能体。对SIA的非言语行为（如语音和面部手势）进行建模一直是一项具有挑战性的任务，因为SIA可以扮演说话者或倾听者的角色。SIA必须针对两种角色发出适应于自身语音、自身先前行为（内人际）以及用户行为（人际）的恰当行为。我们提出AMII，一种在与用户交互并交替充当说话者或倾听者时合成SIA自适应面部手势的新方法。AMII的特征在于模态记忆编码模式——其中模态对应语音或面部手势——并利用注意力机制捕捉内人际和人际关系。我们通过客观评估并将其与最先进的方法进行比较来验证我们的方法。
引用
@article{arxiv.2305.11310,
title = {AMII: Adaptive Multimodal Inter-personal and Intra-personal Model for Adapted Behavior Synthesis},
author = {Jieyeon Woo and Mireille Fares and Catherine Pelachaud and Catherine Achard},
journal= {arXiv preprint arXiv:2305.11310},
year = {2023}
}
备注
8 pages, 1 figure