ORL-AUDITOR：离线深度强化学习中的数据集审计
密码学与安全
2023-09-07 v1 机器学习
摘要
数据是 AI 的关键资产，高质量数据集可显著提升机器学习模型性能。在自动驾驶等安全关键领域，常使用离线深度强化学习（offline DRL）在预收集数据集上训练模型，而非像在线 DRL 那样与真实环境交互训练。为支持模型开发，许多机构以开源许可公开数据集，但这些数据集面临潜在滥用或侵权风险。向数据集注入水印可保护数据知识产权，但无法处理已发布且事后难以更改的数据集。现有其它方案（如数据集推断与成员推断）因模型行为特征多样及离线设置约束，在 offline DRL 场景下表现不佳。本文倡导一种新范式，利用累积奖励可作为区分在特定数据集上训练的 DRL 模型的唯一标识符这一事实。为此，我们提出 ORL-AUDITOR，这是首个面向离线 RL 场景的轨迹级数据集审计机制。我们在多个 offline DRL 模型与任务上的实验揭示了 ORL-AUDITOR 的有效性，审计准确率超 95%、误报率低于 2.88%。我们还通过研究各类参数设置为其实际部署提供有益见解。此外，我们在 Google 与 DeepMind 的开源数据集上展示了 ORL-AUDITOR 的审计能力，凸显其对已发布数据集审计的有效性。ORL-AUDITOR 已于 https://github.com/link-zju/ORL-Auditor 开源。
引用
@article{arxiv.2309.03081,
title = {ORL-AUDITOR: Dataset Auditing in Offline Deep Reinforcement Learning},
author = {Linkang Du and Min Chen and Mingyang Sun and Shouling Ji and Peng Cheng and Jiming Chen and Zhikun Zhang},
journal= {arXiv preprint arXiv:2309.03081},
year = {2023}
}
备注
To appear in the Network and Distributed System Security Symposium (NDSS) 2024, San Diego, CA, USA