彩色何时重要：灰度引导的在线触发，用于始终开启的流式视频感知
计算机视觉与模式识别
2026-03-25 v1 人工智能
人机交互
多媒体
摘要
始终开启的感知对下一代边缘/可穿戴 AI 系统至关重要，但持续高保真 RGB 视频捕获在资源受限的移动和边缘平台上仍然不可行。我们提出一种新的高效流式视频理解范式：灰度持续，彩色按需。通过初步研究，我们发现彩色并非总是必要的。当通过持续的灰度流保持时间结构时，稀疏的 RGB 帧即可实现相当的性能。基于这一洞见，我们提出 ColorTrigger，一个无需训练的在线触发器，基于窗口化灰度亲和分析有选择地激活彩色捕获。 designed for real-time edge deployment，ColorTrigger 使用轻量级二次规划检测色彩冗余性，结合信用预算控制和动态 token 路由，联合减少感知和推理成本。在流式视频理解基准测试上，ColorTrigger 实现了 91.6% 的全彩基线性能，仅使用 8.1% 的 RGB 帧，显示了自然视频中显著的彩色冗余性，从而在资源受限设备上实现实用的始终开启视频感知。
引用
@article{arxiv.2603.22466,
title = {Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing},
author = {Weitong Cai and Hang Zhang and Yukai Huang and Shitong Sun and Jiankang Deng and Songcen Xu and Jifei Song and Zhensong Zhang},
journal= {arXiv preprint arXiv:2603.22466},
year = {2026}
}
备注
Accepted at CVPR 2026 (Main track)