DeepLight：面向真实世界显示屏的鲁棒且无干扰实时屏幕-相机通信
计算机视觉与模式识别
2021-05-13 v1
摘要
本文提出了一种新颖、整体的鲁棒屏幕-相机通信（SCC）方法，其中屏幕上的视频内容以人类不可感知的方式被视觉编码，并由捕获此类屏幕内容图像的相机解码。我们首先表明，最先进的 SCC 技术在真实环境部署中存在两个关键局限：（a）即便从捕获图像中提取屏幕仅有微小误差，解码准确率也会迅速下降；（b）即使在像素强度最小调制下，它们在常见刷新率屏幕上也会产生可感知的闪烁。为克服这些挑战，我们引入了 DeepLight，一种在解码流水线中集成机器学习（ML）模型以实现在多样真实条件下人类不可感知、中等高速 SCC 的系统。DeepLight 的关键创新是设计了一个基于深度神经网络（DNN）的解码器，该解码器对显示帧中空间编码的所有比特进行集体解码，而无需尝试精确隔离与每个编码比特相关的像素。此外，DeepLight 通过仅选择性调制蓝通道的强度来支持不可感知编码，并利用最先进的目标检测 DNN 流水线提供相当准确的屏幕提取（IoU 值 ≥ 83%）。我们展示了一个全功能 DeepLight 系统能够使用手持智能手机相机，即便在较大屏-机距离（约 2m）下，也能鲁棒地实现高解码准确率（帧错误率 < 0.2）与中等高数据 goodput（≥0.95Kbps）。
引用
@article{arxiv.2105.05092,
title = {DeepLight: Robust & Unobtrusive Real-time Screen-Camera Communication for Real-World Displays},
author = {Vu Tran and Gihan Jayatilaka and Ashwin Ashok and Archan Misra},
journal= {arXiv preprint arXiv:2105.05092},
year = {2021}
}
备注
Accepted for IPSN 2021 (ACM/IEEE International Conference on Information Processing in Sensor Networks 2021)