TRANSFER：基于对抗网络跨模态知识迁移的研究——以手势识别为例
计算机视觉与模式识别
2023-06-28 v1
摘要
跨传感技术的知识迁移是一个新兴概念，近来已在包括基于手势的人机交互在内的许多应用领域中得到探索。其主要目标是从源技术中收集语义或数据驱动信息，以对目标技术中未见过的类别实例进行分类/识别。主要挑战在于源技术与目标技术之间特征集的维度和分布存在显著差异。本文中，我们提出 TRANSFER，一个用于源技术与目标技术之间知识迁移的通用框架。TRANSFER 使用基于语言的手势表示，其捕获了与词意语义相关的手形、位置和运动等概念的时间组合。通过利用预指定的句法结构与分词器，TRANSFER 将手势分割为词元，并使用词元识别器识别各组成部分。该基于语言的识别系统中的分词器将底层技术特定特征抽象至机器接口，从而能够设计一个判别器，学习对源与目标技术中手势识别都至关重要的技术不变特征。我们展示了 TRANSFER 在三种不同场景中的使用：a) 通过从视频学习手势模型并使用 WiFi 识别手势来实现跨技术知识迁移；b) 从视频向加速度计迁移知识；d) 从加速度计向 WiFi 信号迁移知识。
引用
@article{arxiv.2306.15114,
title = {Transfer: Cross Modality Knowledge Transfer using Adversarial Networks -- A Study on Gesture Recognition},
author = {Payal Kamboj and Ayan Banerjee and Sandeep K. S. Gupta},
journal= {arXiv preprint arXiv:2306.15114},
year = {2023}
}