TRACED：基于转换感知的 regret 近似与 co-learnability 用于环境设计
物理与社会
2025-06-26 v1
摘要
将深度强化学习智能体推广到未见环境仍是一个重大挑战。一个有前景的解决方案是无监督环境设计（UED），即一个在教师自适应生成具有高学习潜力的任务的同时，学生从这一不断演化的课程中学习稳健策略的 co-evolutionary 框架。现有 UED 方法通常通过 regret 测量学习潜力，即最优性能与当前性能之间的差距，仅通过价值函数损失来近似。基于这些方法，我们引入转换预测误差作为 regret 近似中的额外项。为捕捉在一个任务上的训练如何影响其他任务的性能，我们进一步提出一种轻量级指标，称为 Co-Learnability。通过将这两个测度结合起来，我们提出了面向环境设计的 Transition-aware Regret Approximation with Co-learnability，即 TRACED。经验评估表明，TRACED 产生的课程在多个基准上相对于强大基线实现零样本泛化。消融研究确认，转换预测误差驱动了快速的复杂性提升，而 Co-Learnability 在与转换预测误差搭配使用时提供额外的收益。这些结果表明，精细化的 regret 近似和对任务关系的显式建模如何被用于 UED 中的高效课程设计。项目页面：https://geonwoo.me/traced/。
引用
@article{arxiv.2506.19996,
title = {Evolutionary dynamics of pairwise and group cooperation in heterogeneous social networks},
author = {Dini Wang and Peng Yi and Gang Yan and Feng Fu},
journal= {arXiv preprint arXiv:2506.19996},
year = {2025}
}