面向交通理解的情境推理研究

智能交通监控（ITMo）技术有潜力改善道路安全/安保，并支撑智慧城市基础设施。理解交通情境需要将感知信息与会领域特定及因果常识知识进行复杂融合。尽管已有工作提供了交通监控的基准与方法，模型能否有效对齐这些信息源并在新情境中推理仍不明确。为弥补这一评估空白，我们设计了交通领域情境推理的三个新颖基于文本的任务：i) BDD-QA，评估语言模型（LMs）进行情境决策的能力；ii) TV-QA，评估 LMs 推理复杂事件因果的能力；iii) HDT-QA，评估模型解决人类驾驶考试的能力。我们采用了四种在先前工作中展现跨语言推理任务泛化能力的相关知识增强方法，分别基于自然语言推理、常识知识图自监督、多 QA 联合训练以及领域信息稠密检索。我们将每种方法与相关知识源关联，包括知识图、相关基准和驾驶手册。在大量实验中，我们在零样本评估下针对三个数据集对多种知识感知方法进行了基准测试；我们对数据划分上的模型性能做了深入分析，并按类别考察模型预测，以在不同背景知识与推理策略下对交通理解给出有益见解。