通过配对嵌入数据增强学习端到端动作交互
计算机视觉与模式识别
2020-07-17 v1
摘要
在基于识别的动作交互中，机器人对人类动作的响应通常根据识别出的类别预先设计，因而僵硬。在本文中，我们指定了一项新的交互动作翻译(IAT)任务，旨在从无需标注的交互对中学习端到端动作交互，去除显式动作识别。为能在小规模数据上学习，我们提出一种配对嵌入(PE)方法来进行有效且可靠的数据增强。具体而言，我们的方法首先利用配对关系在嵌入空间中聚类个体动作。然后，原本配对的两种动作可被各自邻域中的其他动作替换，组装成新配对。基于条件 GAN 的 Act2Act 网络随后从增强数据中学习。此外，我们专门提出了 IAT-test 和 IAT-train 分数用于评估我们任务上的方法。在两个数据集上的实验结果显示了我们的方法的显著效果和广阔应用前景。
引用
@article{arxiv.2007.08071,
title = {Learning End-to-End Action Interaction by Paired-Embedding Data Augmentation},
author = {Ziyang Song and Zejian Yuan and Chong Zhang and Wanchao Chi and Yonggen Ling and Shenghao Zhang},
journal= {arXiv preprint arXiv:2007.08071},
year = {2020}
}
备注
16 pages, 7 figures