利用无线电信号进行居家日常生活描述生成
计算机视觉与模式识别
2020-08-26 v1
摘要
本文旨在描述日常生活——即创建关于人们在家中活动及与物体交互的文本描述。解决该问题需要超越传统视频描述生成的新方法，因为大多数人会对在家中到处部署摄像头有隐私顾虑。我们引入 RF-Diary，一种通过分析家中隐私保护无线电信号与房屋平面图来生成日常生活描述的新模型。RF-Diary 还能透过墙壁与遮挡物以及在黑暗环境中观测并描述人们的生活。在设计 RF-Diary 时，我们利用无线电信号捕捉人们三维动态的能力，并使用平面图帮助模型学习人们与物体的交互。我们还采用多模态特征对齐训练方案，利用现有基于视频的描述生成数据集来提升基于无线电的描述生成模型性能。大量实验结果表明，RF-Diary 在可见条件下生成准确描述。它还在基于视频的描述生成方法无法生成有意义描述的黑暗或遮挡环境中保持良好性能。更多信息请访问我们的项目网页：http://rf-diary.csail.mit.edu
引用
@article{arxiv.2008.10966,
title = {In-Home Daily-Life Captioning Using Radio Signals},
author = {Lijie Fan and Tianhong Li and Yuan Yuan and Dina Katabi},
journal= {arXiv preprint arXiv:2008.10966},
year = {2020}
}
备注
ECCV 2020. The first two authors contributed equally to this paper