DEEDEE：快速可扩展的强化学习异常分布检测
机器学习
2025-10-27 v1 人工智能
摘要
在安全关键环境中部署强化学习( RL)受到脆弱性受分布迁移约束。我们研究针对RL时序数据的异常分布检测，并引入DEEDEE——一种基于两种统计量的检测器，该方法以最小化替代方案重新审视了依赖表示的管线。DEEDEE仅使用episodewise平均值和对训练摘要的RBF核相似性，分别捕获全局和局部偏差。尽管方法简单，DEEDEE仍在标准RL异常分布检测套件中匹配或超越当代检测器，实现了约600倍的计算量(FLOPs/墙时)减少，并在强基准测试中实现约5个绝对百分点的准确率提升。概念上，我们的结果表明， diverse 异常类型往往通过一小组低阶统计量在RL轨迹中留下痕迹，表明这为复杂环境中的异常分布检测提供了紧凑的基础。
引用
@article{arxiv.2510.21638,
title = {DEEDEE: Fast and Scalable Out-of-Distribution Dynamics Detection},
author = {Tala Aljaafari and Varun Kanade and Philip Torr and Christian Schroeder de Witt},
journal= {arXiv preprint arXiv:2510.21638},
year = {2025}
}