通过纠缠互模拟在控制策略中高效嵌入语义相似性
机器学习
2022-01-31 v1 机器学习
摘要
在存在视觉干扰的情况下从视觉输入学习可泛化策略是强化学习中的挑战性问题。近来，将互模拟度量作为解决此问题的工具重新受到关注；这些度量可用于学习原则上对无关干扰不变的表示，通过度量状态间的行为相似性。在连续状态与动作场景中，对这些度量的准确、无偏且可扩展的估计一直难以实现。我们提出纠缠互模拟，一种允许指定状态间距离函数且可在连续状态与动作空间中无偏估计的互模拟度量。我们展示了纠缠互模拟如何能在 Distracting Control Suite（DCS）上有意义地优于先前方法，即便叠加在数据增强技术之上也是如此。
引用
@article{arxiv.2201.12300,
title = {Efficient Embedding of Semantic Similarity in Control Policies via Entangled Bisimulation},
author = {Martin Bertran and Walter Talbott and Nitish Srivastava and Joshua Susskind},
journal= {arXiv preprint arXiv:2201.12300},
year = {2022}
}