Fire360：用于退化 360 度消防视频中鲁棒感知与情景记忆的基准
计算机视觉与模式识别
2025-06-04 v1 人工智能
摘要
现代人工智能系统在可靠性至关重要的环境中（即存在烟雾、低能见度和结构变形的场景）面临最大的困难。每年有数以万计的消防员在执勤中受伤，通常是由于情境感知的崩溃。我们引入了 Fire360，这是一个用于评估安全关键消防场景中感知与推理的基准。该数据集包含来自不同条件（例如低光照、热畸变）下专业训练课程的 228 个 360 度视频，标注有动作片段、物体位置和退化元数据。Fire360 支持五项任务：视觉问答、时序动作描述、物体定位、安全关键推理和变换物体检索（TOR）。TOR 测试模型是否能在未配对场景中将原始样本与火灾受损的对应物进行匹配，从而评估变换不变识别。尽管人类专家在 TOR 上达到 83.5% 的准确率，但像 GPT-4o 这样的模型却显著落后，暴露了在退化条件下推理的失败。通过发布 Fire360 及其评估套件，我们旨在推动不仅能“看见”，还能在不确定性下“记忆”、“推理”和“行动”的模型。数据集获取地址：https://uofi.box.com/v/fire360dataset。
引用
@article{arxiv.2506.02167,
title = {Fire360: A Benchmark for Robust Perception and Episodic Memory in Degraded 360-Degree Firefighting Videos},
author = {Aditi Tiwari and Farzaneh Masoud and Dac Trong Nguyen and Jill Kraft and Heng Ji and Klara Nahrstedt},
journal= {arXiv preprint arXiv:2506.02167},
year = {2025}
}
备注
20 pages, 9 figures, 6 tables