SAMEdge：面向 Segment Anything Model 的边缘云视频分析架构
人工智能
2024-09-24 v1
摘要
随着人工智能的不断发展，它越来越能够仅凭一个大型模型就能处理广泛的视频分析任务。其中一个关键基础技术是 Segment Anything Model（SAM），它允许根据用户输入的提示实时决定视频分析任务。然而，由于边缘设备的通信和计算资源有限，尤其是 SAM 需要用户持续添加或调整提示以实现实时响应，这对于用户体验至关重要。本文提出了 SAMEdge，一种 novel 的边缘云计算架构，旨在支持边缘用户的 SAM 计算。SAMEdge 在边缘和云端集成新模块，在视觉提示和图像提示输入受延迟约束的情况下最大限地提高分析准确性。它通过为视觉提示提供视觉提示转换算法和高效的图像编码工作负载划分，解决了提示编码和图像编码的资源挑战。SAMEdge 通过扩展 Meta AI 的开源 SAM 项目进行实现。我们通过视觉导览应用案例研究展示了 SAMEdge 的实际应用。我们的评估表明，在不同网络带宽下，SAMEdge 显著提高了视频分析应用的准确性。
引用
@article{arxiv.2409.14784,
title = {SAMEdge: An Edge-cloud Video Analytics Architecture for the Segment Anything Model},
author = {Rui Lu and Siping Shi and Yanting Liu and Dan Wang},
journal= {arXiv preprint arXiv:2409.14784},
year = {2024}
}