MoET：专家树混合模型及其在可验证强化学习中的应用
机器学习
2022-04-08 v4 人工智能
机器学习
摘要
深度学习的快速发展带来了许多近期突破。尽管深度学习模型取得了优越的性能，且在统计上常优于人类，但其在安全关键场景（如医疗或自动驾驶）中的采用受到阻碍，因为它们无法提供安全性保证，也无法以人类可理解的形式揭示模型内部运作。我们提出 MoET，一种基于专家混合（Mixture of Experts）的新颖模型，由决策树专家与广义线性模型门控函数组成。得益于此类门控函数，该模型比标准决策树更具表达能力。为支持以非可微决策树作为专家，我们制定了一种新颖的训练过程。此外，我们引入了硬阈值版本 MoETH，其中预测仅由通过门控函数选定的单个专家做出。得益于该性质，MoETH 允许将每次预测轻松分解为一组可轻易验证的逻辑规则形式。虽然 MoET 是通用模型，我们展示了其在强化学习设定中的威力。通过在深度 RL 智能体上使用模仿学习过程训练 MoET 模型，我们在保持模型可验证性的同时超越了先前基于决策树的最优技术。此外，我们表明 MoET 也可用于真实世界监督问题，并在其上优于其他可验证机器学习模型。
引用
@article{arxiv.1906.06717,
title = {Mo\"ET: Mixture of Expert Trees and its Application to Verifiable Reinforcement Learning},
author = {Marko Vasic and Andrija Petrovic and Kaiyuan Wang and Mladen Nikolic and Rishabh Singh and Sarfraz Khurshid},
journal= {arXiv preprint arXiv:1906.06717},
year = {2022}
}