无规范化Transformer的轨迹预测方法DyTTP
机器学习
2025-05-07 v2 人工智能
摘要
准确的轨迹预测是自动驾驶系统安全运行的基石, 其中理解周围代理人动态行为至关重要。Transformer-based架构在捕捉复杂时空依赖性方面显示出巨大潜力。然而, 它们依赖规范化层会导致计算开销和训练不稳定。本文提出了两方面的方法以解决这些挑战。首先, 我们将DynamicTanh(DyT)集成到网络骨干中, 替代传统层规范化。这一修改简化了网络架构并提高了推理稳定性。我们是首次将DyT部署到轨迹预测任务。此外, 我们采用快照集成策略进一步提升轨迹预测性能。通过循环学习率调度, 在单个训练运行期间捕获多个模型快照。这些快照随后通过简单的平均在推理时聚合, 允许模型在不产生显著额外计算成本的情况下受益于多样假设。广泛的在Argoverse数据集上的实验表明, 我们的方法显著提高了预测准确性、推理速度和鲁棒性。本工作凸显了无规范化Transformer设计与轻量级集成技术在推进自动驾驶轨迹预测方面的潜力。
引用
@article{arxiv.2504.05356,
title = {DyTTP: Trajectory Prediction with Normalization-Free Transformers},
author = {JianLin Zhu and HongKuo Niu},
journal= {arXiv preprint arXiv:2504.05356},
year = {2025}
}