CEFHRI:一种用于工业人机交互识别的通信高效联邦学习框架
计算机视觉与模式识别
2023-08-30 v1
摘要
人机交互(HRI)是一个快速发展的领域,涵盖社会和工业应用。机器学习通过增强机器人在复杂环境中的适应性和自主性,在工业人机交互中发挥着至关重要的作用。然而,数据隐私是人机交互中的关键问题,因为公司需要在机器学习算法需要访问大型数据集的同时保护敏感数据。联邦学习(FL)通过实现不共享原始数据的分布式模型训练提供了一种解决方案。尽管针对自然语言处理(NLP)和图像分类等任务的联邦学习(FL)已有广泛研究,但如何使用FL进行人机交互仍是一个开放的研究问题。传统FL方法涉及在服务器与客户端之间传输大型神经网络参数矩阵,这可能导致高通信成本并常常成为FL的瓶颈。本文提出了一种用于人机交互的通信高效联邦学习框架(CEFHRI),以应对数据异构性和通信成本的挑战。该框架利用预训练模型,并引入可训练的时空适配器用于HRI中的视频理解任务。在HRI30、InHARD和COIN三个人机交互基准数据集上的实验结果表明,CEFHRI在通信成本方面优于全微调。所提出的方法为HRI联邦学习提供了一种安全高效的途径,特别是在具有数据隐私担忧和有限通信带宽的工业环境中。我们的代码可在 https://github.com/umarkhalidAI/CEFHRI-Efficient-Federated-Learning 获取。
引用
@article{arxiv.2308.14965,
title = {CEFHRI: A Communication Efficient Federated Learning Framework for Recognizing Industrial Human-Robot Interaction},
author = {Umar Khalid and Hasan Iqbal and Saeed Vahidian and Jing Hua and Chen Chen},
journal= {arXiv preprint arXiv:2308.14965},
year = {2023}
}
备注
Accepted in IROS 2023