适应还是不适应？语义分割的实时自适应
计算机视觉与模式识别
2023-08-08 v2
摘要
语义分割的在线域自适应旨在处理部署期间发生的不可预见的域变化，如突发天气事件。然而，暴力自适应所带来的高计算成本使该范式难以用于实际应用。本文提出 HAMLET，一种用于实时域自适应的硬件感知模块化最省训练框架。我们的方法包含一个硬件感知反向传播编排智能体（HAMT）与一个专用域偏移检测器，可主动控制模型自适应与否及自适应的方式（LT）。得益于这些进展，我们的方法能够在单块消费级 GPU 上以超过 29FPS 的速度执行语义分割并同时自适应。我们在 OnDA 与 SHIFT 基准上的实验结果展示了本框架在精度与速度间令人鼓舞的权衡。
引用
@article{arxiv.2307.15063,
title = {To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation},
author = {Marc Botet Colomer and Pier Luigi Dovesi and Theodoros Panagiotakopoulos and Joao Frederico Carvalho and Linus Härenstam-Nielsen and Hossein Azizpour and Hedvig Kjellström and Daniel Cremers and Matteo Poggi},
journal= {arXiv preprint arXiv:2307.15063},
year = {2023}
}
备注
ICCV 2023. The first two authors contributed equally. Project page: https://marcbotet.github.io/hamlet-web/