EdgeRelight360：用于设备端实时视频人像重照明的文本条件360度HDR图像生成
计算机视觉与模式识别
2024-04-16 v1
摘要
本文提出了EdgeRelight360，一种利用文本条件生成360度高动态范围图像（HDRI）地图，在移动设备上进行实时视频人像重照明的方法。我们的方法利用HDR10标准，提出了一种在HDR域内基于扩散的文本到360度图像生成技术。该技术能够从文本描述生成高质量、逼真的光照条件，在人像视频重照明任务中提供了灵活性和可控性。与以往的重照明框架不同，我们提出的系统直接在设备上进行视频重照明，利用真实的360度HDRI地图实现实时推理。这种设备端处理既确保了隐私，又保证了低运行时间，能够对光照条件或用户输入的变化提供即时响应。该方法通过允许基于文本动态控制光照条件，为视频会议、游戏和增强现实等实时视频应用开辟了新的可能性。
引用
@article{arxiv.2404.09918,
title = {EdgeRelight360: Text-Conditioned 360-Degree HDR Image Generation for Real-Time On-Device Video Portrait Relighting},
author = {Min-Hui Lin and Mahesh Reddy and Guillaume Berger and Michel Sarkis and Fatih Porikli and Ning Bi},
journal= {arXiv preprint arXiv:2404.09918},
year = {2024}
}
备注
Camera-ready version (CVPR workshop - EDGE'24)