通过结合半监督与监督学习解决多模态用户状态识别中的数据稀缺问题
计算机视觉与模式识别
2022-02-09 v1
摘要
检测人类用户的心理状态对于开发协作型和智能型机器人至关重要，因为这使机器人能够理解用户的意图和愿望。尽管十分重要，但由于收集和标注此类数据所需的时间和精力过高，难以获得大量高质量数据来训练自动识别算法。在本文中，我们提出了一种多模态机器学习方法，用于在人机交互环境中检测不同意/同意和困惑状态，仅使用少量人工标注数据。我们通过进行一项人机交互研究收集了一个数据集，并为我们的机器学习方法开发了新颖的预处理流程。通过结合半监督和监督架构，我们仅使用少量标注数据和大量未标注数据，就能在不同意/同意检测上取得 81.1% 的平均 F1 分数，同时相比监督方法提升了模型的鲁棒性。
引用
@article{arxiv.2202.03775,
title = {Addressing Data Scarcity in Multimodal User State Recognition by Combining Semi-Supervised and Supervised Learning},
author = {Hendric Voß and Heiko Wersing and Stefan Kopp},
journal= {arXiv preprint arXiv:2202.03775},
year = {2022}
}