超越已知：基于反事实推理的决策转换器
人工智能
2025-05-15 v1 机器学习
摘要
决策转换器（Decision Transformer, DT）在现代强化学习中发挥着关键作用，利用离线数据集在 various 领域取得令人印象深刻的成绩。然而，DT 需要高质量、详尽的数据才能发挥最佳性能。在实际应用中，由于训练数据匮乏和最优行为稀缺，在离线数据集上进行训练颇具挑战性，因为次优数据会阻碍性能。为此，我们提出了反事实推理决策转换器（Counterfactual Reasoning Decision Transformer, CRDT），这是一种受反事实推理启发的新型框架。CRDT 增强了 DT 针对未知数据进行推理的能力，通过生成和利用反事实经验，实现了在不可见情景下的改进决策。在 Atari 和 D4RL 基准测试中的实验，包括数据有限和动态改变的情景，表明 CRDT 超越了传统 DT 方法。此外，反事实推理允许 DT 代理获得拼接能力，在不进行结构修改的情况下结合次优轨迹。这些结果凸显了反事实推理在增强强化学习代理性能和泛化能力方面的潜力。
引用
@article{arxiv.2505.09114,
title = {Beyond the Known: Decision Making with Counterfactual Reasoning Decision Transformer},
author = {Minh Hoang Nguyen and Linh Le Pham Van and Thommen George Karimpanal and Sunil Gupta and Hung Le},
journal= {arXiv preprint arXiv:2505.09114},
year = {2025}
}