递归语言模型：如何解决LLM的上下文腐烂问题

摘要

本文介绍了MIT研究团队提出的递归语言模型技术。随着推理模型在处理长上下文时出现性能退化问题，研究者设计了一种基于REPL环境的脚手架结构，使LLM能够递归处理任意长度的输入而不会导致上下文腐烂。该方法可与任何模型配合使用，可能开启推理时间缩放的新纪元。

内容框架与概述

文章首先回顾了LLM发展历程：2024年训练时间缩放定律趋于饱和，随后OpenAI的o1系列推理模型开启了测试时间计算的新范式。但推理模型依赖长链式思考，容易遇到上下文腐烂问题，即模型性能随输入长度增加而不可靠地下降。

MIT团队提出的解决方案是递归语言模型。其核心是围绕LLM构建外部脚手架，利用REPL环境让模型将长上下文分解处理，而非一次性摄入全部信息。这种方法可与任何LLM结合使用，理论上能实现上下文大小的数量级扩展。

核心概念及解读

推理时间缩放：通过增加模型推理时的计算资源来提升性能，而非仅依赖增加训练数据和参数，是o1系列模型开创的新范式。

上下文腐烂：Chroma研究人员提出的概念，指LLM性能随输入长度增加而不可靠下降的现象，是当前长上下文模型面临的重大挑战。

递归语言模型：MIT提出的架构，通过外部脚手架让LLM递归处理上下文，避免一次性处理全部信息，从根本上解决上下文腐烂问题。

REPL环境：递归语言模型的核心组件，提供Python执行环境供LLM进行交互式上下文分析和处理。

原文信息

此摘要卡片由 AI 自动生成