roadscene2vec:一种用于提取与嵌入道路场景图的工具
计算机视觉与模式识别
2022-01-03 v2
摘要
近来,道路场景图表示结合图学习技术已被证明在动作分类、风险评估和碰撞预测等任务中优于最先进的(SOTA)深度学习技术。为支持探索道路场景图表示的应用,我们引入了roadscene2vec:一个用于提取与嵌入道路场景图的开源工具。roadscene2vec的目标是通过提供用于生成场景图、生成时空场景图嵌入的图学习模型,以及用于可视化和分析基于场景图方法的工具,来促进对道路场景图应用与能力的研究。roadscene2vec的功能包括(i)从视频片段或CARLA模拟器数据定制生成场景图,(ii)多个可配置的时空图嵌入模型与基于CNN的基线模型,(iii)将图和序列嵌入用于风险评估与碰撞预测应用的内置功能,(iv)用于评估迁移学习的工具,以及(v)用于可视化场景图和分析图学习模型可解释性的实用程序。我们通过图学习模型和基于CNN模型的实验结果及定性评估展示了roadscene2vec在这些用例中的效用。roadscene2vec可在 https://github.com/AICPS/roadscene2vec 获取。
引用
@article{arxiv.2109.01183,
title = {roadscene2vec: A Tool for Extracting and Embedding Road Scene-Graphs},
author = {Arnav Vaibhav Malawade and Shih-Yuan Yu and Brandon Hsu and Harsimrat Kaeley and Anurag Karra and Mohammad Abdullah Al Faruque},
journal= {arXiv preprint arXiv:2109.01183},
year = {2022}
}