FineFT：面向期货交易的高效且风险感知的集成强化学习
机器学习
2026-01-01 v1 人工智能
摘要
期货是在预定日期和价格交换资产的合约，以其高杠杆和高流动性而著称，因此在加密货币市场中蓬勃发展。强化学习 (RL) 已广泛应用于各种量化任务。然而，大多数方法关注现货市场，由于两个挑战而无法直接应用于高杠杆的期货市场。首先，高杠杆放大了奖励波动，使得训练具有随机性且难以收敛。其次，先前的工作缺乏对能力边界的自我感知，在遇到新市场状态（例如像 COVID-19 这样的黑天鹅事件）时面临重大损失的风险。为了应对这些挑战，我们提出了面向期货交易的高效且风险感知的集成强化学习 (Efficient and Risk-Aware Ensemble Reinforcement Learning for Futures Trading, FineFT)，这是一种具有稳定训练和适当风险管理的新型三阶段集成 RL 框架。在阶段 I，集成 Q 学习器通过集成 TD 误差进行选择性更新以改善收敛。在阶段 II，我们根据盈利能力过滤 Q 学习器，并在市场状态上训练 VAE，以识别学习器的能力边界。在阶段 III，我们在过滤后的集成和保守策略之间进行选择，由训练好的 VAE 指导，以在面对新市场状态时保持盈利能力并降低风险。通过在具有高保真度和 5 倍杠杆的高频交易环境中对加密期货进行大量实验，我们证明了 FineFT 在 6 项金融指标上优于 12 个 SOTA 基线，在实现优于亚军的盈利能力的同时，将风险降低了 40% 以上。选择性更新机制的可视化表明，不同的智能体专注于不同的市场动态，消融研究证实了使用 VAE 进行路由可有效减少最大回撤，而选择性更新则改善了收敛性和性能。
引用
@article{arxiv.2512.23773,
title = {FineFT: Efficient and Risk-Aware Ensemble Reinforcement Learning for Futures Trading},
author = {Molei Qin and Xinyu Cai and Yewen Li and Haochong Xia and Chuqiao Zong and Shuo Sun and Xinrun Wang and Bo An},
journal= {arXiv preprint arXiv:2512.23773},
year = {2026}
}