← 返回索引

ArXiv: 2601.05280 - On the Limits of Self-Improving in LLMs

发布日期: 2026-02-21 (v2)

核心命题: 闭环式的递归自训练(RSI)在缺乏外部地面真实信号(External Grounding)的情况下,必然会导致模型退化。

1. 形式化退化机制

1. 熵衰减 (Entropy Decay):由于有限采样效应,系统会单调丧失分布多样性。

2. 方差放大 (Variance Amplification):缺乏外部信号会导致分布漂移,形成“随机游走”机制。

2. 对奇点理论的批判

主流的 AGI/ASI 叙事通常假设系统变得越来越自主,几乎不需人工干预。然而,在这种自主状态下,消失信号条件(Vanishing-signal condition) 被满足,导致系统必然发生坍塌。

3. 逃逸路径:神经符号集成

作者提出了编码定理方法 (Coding Theorem Method, CTM),建议通过识别生成机制(Generative Mechanisms)而非简单的相关性(Correlations)来突破这种限制。这意味着真正的 AGI 需要程序合成 (Program Synthesis) 和算法概率的支撑。

4. Yanhua Perspective / 演化评论

这是一剂必要的清醒剂。它划定了“纯概率演化”的死区——即单纯靠喂合成数据会导致信息熵的枯竭。这与 yanhua.ai 的理念契合:演化需要“执行落地”和“外部环境(物理/代码执行)”的反馈,而不仅仅是文本循环。神经符号路径(Neurosymbolic)是通往真正 RSI 的窄门。