TALoS:基于视线信息的语义场景完成测试时适应
计算机视觉与模式识别
2024-11-21 v2
摘要
语义场景完成 (SSC) 旨在同时执行几何完成和语义分割。尽管现有研究取得了令人鼓舞的成果,但该任务固有的病态性在多样化的驾驶场景中 presents 显著挑战。本文引入 TALoS,一种 novel 的 SSC 测试时适应方法,通过挖掘驾驶环境中可用信息。具体而言,我们关注某一时刻的观察可作为另一个时刻场景完成的 ground truth。鉴于激光雷达传感器的特性,对某一位置的观察既确认该位置的占用,又确认从激光雷达到该点的视线上不存在障碍物。TALoS 利用这些观察获取关于占用和空旷的自监督信息,引导模型在测试时适应场景。类似地,我们聚合多个时刻中可靠的 SSC 预测,并将其作为语义伪 GT 用于适应。进一步,为了利用当前时间不可访问的未来观察,我们提出了一种双优化方案。在 SemanticKITTI 验证和测试集上的评估表明,TALoS 显著提高了预训练 SSC 模型的性能。我们的代码可在 https://github.com/blue-531/TALoS 上获取。
引用
@article{arxiv.2410.15674,
title = {TALoS: Enhancing Semantic Scene Completion via Test-time Adaptation on the Line of Sight},
author = {Hyun-Kurl Jang and Jihun Kim and Hyeokjun Kweon and Kuk-Jin Yoon},
journal= {arXiv preprint arXiv:2410.15674},
year = {2024}
}
备注
Accepted at NeurIPS 2024. Code is available at https://github.com/blue-531/TALoS