基于文本的金融预测模型一致性度量
计算与语言
2023-06-05 v2 人工智能
综合经济学
经济学
摘要
金融预测一直是机器学习研究的一个重要且活跃的领域，因为即便预测精度上最微小的优势也能转化为显著的财务收益。自然语言处理（NLP）的最新进展带来了利用文本数据的机会，例如公开交易公司的盈利报告，以预测资产的回报率。然而，在处理如此敏感的任务时，模型的一致性——其在输入意义保持的替换下的不变性——是建立用户信任的关键属性。尽管如此，当前的金融预测方法并未考虑一致性。为解决该问题，我们提出 FinTrust，一种评估金融文本中逻辑一致性的工具。使用 FinTrust，我们表明最先进的金融预测 NLP 模型的一致性很差。我们对由意义保持的替换引起的性能退化的分析表明，当前基于文本的方法不适合稳健地预测市场信息。所有资源可在 https://github.com/yingpengma/fintrust 获取。
引用
@article{arxiv.2305.08524,
title = {Measuring Consistency in Text-based Financial Forecasting Models},
author = {Linyi Yang and Yingpeng Ma and Yue Zhang},
journal= {arXiv preprint arXiv:2305.08524},
year = {2023}
}
备注
Accepted to ACL 2023 Main Conference