LLM推理时自我改进综述
计算与语言
2024-12-20 v1
摘要
通过在测试时增加计算量来增强推理的技术最近引起了关注。在本综述中，我们从三个不同角度研究LLM推理时自我改进的当前状态：独立自我改进（关注通过解码或采样方法进行的增强）、上下文感知自我改进（利用额外上下文或数据存储）和模型辅助自我改进（通过模型协作实现改进）。我们对最近的相关研究进行了全面回顾，贡献了一个深入的分类法，并讨论了挑战和局限性，为未来研究提供了见解。
引用
@article{arxiv.2412.14352,
title = {A Survey on LLM Inference-Time Self-Improvement},
author = {Xiangjue Dong and Maria Teleki and James Caverlee},
journal= {arXiv preprint arXiv:2412.14352},
year = {2024}
}
备注
The first two authors contribute equally