数据融合增强决策转换器：用于稳定跨域泛化

跨域漂移是决策转换器（DT）策略面临的重大挑战。现有的跨域策略适应方法通常依赖单一简单过滤标准选择源轨迹片段并拼接它们。它们要么匹配状态结构，要么匹配动作可行性。然而，所选片段仍存在较差的拼接性：状态结构可能对齐不良，随着奖励或时间步长变化，回报-终点（RTG）变得不可比较，动作在轨迹节点处可能跳跃。结果，RTG标记丢失连续性，损害DT的推理能力。为应对这些挑战，我们提出了数据融合增强决策转换器（DFDT），一个恢复拼接性的紧凑管道。特别地，DFDT通过两级数据过滤、最大均值不确定性（MMD）不匹配实现状态结构对齐，并通过最优传输（OT）偏差实现动作可行性，将稀缺目标数据与经过筛选的可信源片段融合。随后，它在可行性加权融合分布上进行训练。此外，DFDT用基于优势条件的标记取代RTG标记，这有助于提高标记序列中语义的连续性。它还应用$Q$引导的正则化器抑制节点处的值和动作跳跃。理论上，我们提供了界限，将状态价值和策略性能差异与MMD不匹配和OT偏差 Measures 联系起来，表明随着这两个Measures 缩小，界限将趋紧。我们表明，DFDT在D4RL风格控制任务上的重力、运动学和形态漂移中，优于强大的离线RL和序列模型基线，提高了回报和稳定性，并通过标记拼接和序列语义稳定性分析进一步证实了这些收益。