Titans 再审视：测试时记忆模型的轻量级重新实现与批判性分析
机器学习
2025-10-13 v1 人工智能
摘要
截至2024年底，Google研究人员提出了Titans: Learning at Test Time，一种在多个任务上取得强实证结果的神经记忆模型。然而，公开代码的缺失以及原始描述中的模糊性阻碍了可复现性。在本工作中，我们给出了Titans的轻量级重新实现，并在掩码语言建模、时间序列预测和推荐任务上进行了全面评估。我们的结果表明，由于分块机制，Titans并不总是优于已有的基线模型。然而，其神经记忆组件相较于仅使用注意力机制的模型始终能提升性能。这些发现证实了该模型的创新潜力，同时揭示了其实际局限性，并为未来研究提出了问题。
引用
@article{arxiv.2510.09551,
title = {Titans Revisited: A Lightweight Reimplementation and Critical Analysis of a Test-Time Memory Model},
author = {Gavriel Di Nepi and Federico Siciliano and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2510.09551},
year = {2025}
}