不可见至可见：基于协同学习变分自编码器的机载超声隐私感知人体实例分割
计算机视觉与模式识别
2022-04-18 v1
摘要
在室内动作理解中，我们必须考虑隐私来识别人体姿态与动作。尽管相机图像可用于高准确度的人体动作识别，但相机图像无法保护隐私。因此，我们提出了一种从不可见信息（特别是机载超声）进行人体实例分割以用于动作识别的新任务。为从不可见信息执行实例分割，我们首先将声波转换为反射声音方向图像（声音图像）。尽管声音图像可大致确定人的位置，但其详细形状模糊。为解决该问题，我们提出了一种在训练期间同时使用声音与 RGB 图像的协同学习变分自编码器（CL-VAE）。在推理时，仅从声音图像即可获得实例分割结果。性能验证结果表明，CL-VAE 比常规变分自编码器及其他一些模型能更准确地估计人体实例分割。由于该方法可分别获得人体分割，其可应用于具有隐私保护的人体动作识别任务。
引用
@article{arxiv.2204.07280,
title = {Invisible-to-Visible: Privacy-Aware Human Instance Segmentation using Airborne Ultrasound via Collaborative Learning Variational Autoencoder},
author = {Risako Tanigawa and Yasunori Ishii and Kazuki Kozuka and Takayoshi Yamashita},
journal= {arXiv preprint arXiv:2204.07280},
year = {2022}
}