稀疏原型网络用于可解释的行人行为预测
计算机视觉与模式识别
2024-10-17 v1 人工智能
摘要
预测行人行为虽具挑战性，却对于自动驾驶和智能城市等应用至关重要。最近的深度学习模型在准确预测方面取得了显著成绩，但它们无法提供其内部工作原理的解释。一个原因是多模态输入。为弥合这一差距，我们提出了稀疏原型网络（SPN），一种旨在同时预测行人未来动作、轨迹和姿态的可解释方法。SPN 利用中间原型瓶颈层为其预测提供基于样本的解释。该原型是模态无关的， meaning 它们可以对应于输入的任何模态。因此，SPN 可以扩展到任意组合的模态。通过单语义性和聚类约束进行正则化，原型学习到一致且人类可理解的特征，实现了在 TITAN 和 PIE 数据集上在动作、轨迹和姿态预测方面的最先进性能。最后，我们提出了一个名为 Top-K 单语义尺度的指标，用于定量评估可解释性。定性结果表明，稀疏性与可解释性之间存在正相关。代码可在 https://github.com/Equinoxxxxx/SPN 获取。
引用
@article{arxiv.2410.12195,
title = {Sparse Prototype Network for Explainable Pedestrian Behavior Prediction},
author = {Yan Feng and Alexander Carballo and Kazuya Takeda},
journal= {arXiv preprint arXiv:2410.12195},
year = {2024}
}