OmniSense：面向 360 度视频的边缘辅助在线分析
网络与互联网体系结构
2025-08-21 v1 计算机视觉与模式识别
多媒体
图像与视频处理
摘要
随着全向摄像头硬件成本的降低以及各类扩展现实应用的普及，越来越多的 360° 视频被捕获。为充分释放其潜力，需要先进的视频分析技术从视频中提取无盲区的可操作洞察与态势知识。本文提出 OmniSense，一个面向在线沉浸式视频分析的新型边缘辅助框架。OmniSense 在应对分析 360° 视频所带来的巨大计算与网络资源挑战的同时，实现了低延迟与高精度。基于我们对 360° 视频的测量洞察，OmniSense 引入了一种轻量级球面感兴趣区域（SRoI）预测算法，以剪除 360° 帧中的冗余信息。随后，结合视频内容与网络动态，它智能地缩放视觉模型，以优化的资源利用率分析预测的 SRoI。我们使用商用设备实现了 OmniSense 的原型，并在多种真实采集的 360° 视频上对其进行了评估。广泛的评估结果表明，与资源无关的基线方法相比，它在相似的端到端延迟下将准确率提升了 19.8% 至 114.6%。同时，在保持与基线最高准确率相当的前提下，它实现了 2.0 倍至 2.4 倍的加速。
引用
@article{arxiv.2508.14237,
title = {OmniSense: Towards Edge-Assisted Online Analytics for 360-Degree Videos},
author = {Miao Zhang and Yifei Zhu and Linfeng Shen and Fangxin Wang and Jiangchuan Liu},
journal= {arXiv preprint arXiv:2508.14237},
year = {2025}
}
备注
10 pages; Accepted by INFOCOM'23