CORSMAL 2020 挑战赛 Top-1 提交：利用人机交接多模态观测的填充质量估计
计算机视觉与模式识别
2020-12-03 v1 人机交互
机器学习
机器人学
声音
摘要
人机物体交接是未来人机协作的一项关键技能。CORSMAL 2020 挑战赛聚焦于该问题的感知部分：机器人需要估计人类所持容器的填充质量。尽管在图像处理和音频处理方面各自存在强大的方法，但回答此类问题需要共同处理来自多个传感器的数据。容器的外观、填充的声音以及深度数据提供了关键信息。我们提出了一种多模态方法来预测填充质量的三个关键指标：填充类型、填充液位和容器容量。这些指标随后被组合以估计容器的填充质量。我们的方法在 CORSMAL 2020 挑战赛的所有提交中于公开和私有子集上均取得了 Top-1 的总体性能，同时未显示出过拟合迹象。我们的源代码公开可用：https://github.com/v-iashin/CORSMAL
引用
@article{arxiv.2012.01311,
title = {Top-1 CORSMAL Challenge 2020 Submission: Filling Mass Estimation Using Multi-modal Observations of Human-robot Handovers},
author = {Vladimir Iashin and Francesca Palermo and Gökhan Solak and Claudio Coppola},
journal= {arXiv preprint arXiv:2012.01311},
year = {2020}
}
备注
Code: https://github.com/v-iashin/CORSMAL Docker: https://hub.docker.com/r/iashin/corsmal