Abides 中不同市场场景的相似性度量
计算工程、金融与科学
2021-07-21 v1 人工智能
摘要
马尔可夫决策过程（MDPs）是形式化描述许多机器学习问题的有效方式。事实上，近来 MDPs 也已成为建模金融交易任务的强大框架。例如，金融 MDPs 可以建模不同的市场场景。然而，为这些金融 MDPs 中的每一个学习（近）最优策略可能是一个非常耗时的过程，尤其是在一开始对策略一无所知的情况下。一种替代方法是找到一个我们已经学习过其策略的相似金融 MDP，然后将该策略复用于学习新的金融 MDP 的新策略中。这种市场场景间的知识迁移引发了若干问题。一方面，如何度量金融 MDPs 之间的相似性。另一方面，如何利用该相似性度量在金融 MDPs 之间有效地迁移知识。本文同时解决这两个问题。针对第一个问题，本文分析了基于金融 MDPs 的概念、结构与性能三方面相似性的三种相似性度量的使用。针对第二个问题，本文使用概率策略复用（Probabilistic Policy Reuse）根据被复用知识的先前金融 MDPs 的相似性，在新金融 MDP 的学习中平衡利用与探索。
引用
@article{arxiv.2107.09352,
title = {Similarity metrics for Different Market Scenarios in Abides},
author = {Diego Pino and Javier García and Fernando Fernández and Svitlana S Vyetrenko},
journal= {arXiv preprint arXiv:2107.09352},
year = {2021}
}