2026年6月：参数量小的模型竟全面超越顶尖商业AI接口

在2026年6月的时候, AI领域里出现了一件令人意外的事: 有一个循环世界模型, 它的参数量仅仅大约是10亿, 然而在世界建模的任务当中, 它却全方位超越了那些参数量比它多出100倍的顶尖商业AI接口。这样的一个结果, 直接对 “越大越好” 这种主流的认知发起了挑战。传统的世界模型在进行长程预测时, 普遍会遭遇 “误差累积” 这样的问题, 就是每一步所产生的微小偏差会随着步数的不断增加而持续放大, 最终致使预测完全失效。但是这款参数量少的模型, 凭借其精巧的循环架构设计, 从根本上把这一难题给解决了。

于大型语言模型研究里, 循环变换器架构已被证实能够以不到 10%的参数量达成普通模型的相近处理成效, 其关键是一个个参数共享的变换器模块, 会被反复运用 T 次, 在每一次运用时都于上一次的基础之上更进一步来精心优化预测结果, 这样的设计把参数效率提高了 2 到 3 倍甚至于更多, 研究团队把这一理念挪移到世界模型, 缔造了一个称作“循环世界模型”的全新方案, 其参数量仅仅 10 亿, 然而却能够在长程预测之中维持稳定表现。

有一种致命危险, 那就是数值爆炸, 它存在于循环架构之中。过去, 世界模型很少将循环架构运用进去, 这是为何呢? 原来是因为随着循环次数的不断增多, 隐藏状态会失去控制地膨胀起来。研究团队参考了“谱约束状态保留参数化”这种方法, 在循环核心相关的数学设计方面进行了精致巧妙的约束。这个约束是由数学构造自身来确保的, 它不依靠任何训练技巧, 也不需要进行梯度裁剪或者后处理。从根本上来说, 它能够保证无论循环的次数有多少, 不管预测的步数是多少, 隐藏状态都绝对不会发散开来。这是一种在理论上做出的稳定性保证, 然而以往的世界模型架构却都不存在这样的保证。

每次循环结束之时, 一个门控机制会去检查当下隐藏状态, 输出一个处于0到1之间的概率值, 用以表示“当前预测已然足够好”的置信度。在游戏场景当中, 大多时刻物体于空中自由飞行, 状态变化平稳且可预测, 模型或许只需循环两三次便能够给出准确预测。然而在碰到突发事件或者复杂变化之际, 模型会自行增加循环次数。自适应早退使得模型能够自动识别这种难度差异, 将计算资源集中运用在真正需要仔细考量的时刻, 效率远远超过固定循环次数的方案。

将传统世界模型而言, 于每一步均需对完整输出实施解码一事来说, 这不但耗费诸多计算资源, 并且还强制模型于每一步中都去重建完整的视觉细节, 进而分散了其专注于推演状态底层逻辑的注意力。而推迟解码策略作出了更改, 即先是一同沿着整个动作序列展开推演, 于潜在空间里进行状态积累, 仅在最后一步时才生成完整输出。在训练之际，模型于不存在中间步骤监督信号的情形下维持有意义的隐藏状态。引入了一个辅助损失函数, 该辅助损失函数无需完整解码器, 代价微小, 然而却能够防止隐藏状态漂移至语义无意义的区域当中。

有一个研究团队, 针对两个主要的文本世界建模数据集展开了评测, 这两个数据集分别是Boil以及一个没有被命名的数据集。总的来说, 循环世界模型能在这两个数据集上面, 维持一种具备竞争力的表现状态, 并且参数量大概约为最强竞品的百分之一。那么在Boil任务的Step 4这个阶段, 循环世界模型的精确匹配方面取得提升, 其相对提升部分高达700.9%, BLEU提升幅度为503.5%, 实体得分提升了121%。更令人惊叹不已的是, 该模型自身于不同步数之际的表现呈现出极具明显极高的稳定性, 具体表现为: 当处于Step 1时其呈现出的是平均精确匹配比例为67.2%, 在处于Step 2时该比例为68.6%, 处于Step 3时比例为68.0%, 处于Step 4时比例达到68.4%, 处于时Step 5比例同样是68.4%。这清晰直观地表明了循环世界模型并未出现传统模型随着步数不断增加而迅速急剧退化的状况问题。

在过去, 提升世界模型能力存在着仅有的两条途径, 其一为增大模型规模, 其二是增大训练数据量。而循环世界模型开辟出了第三条道路, 这条道路是增加推理阶段的循环深度。再者, 这条路能够在推理阶段动态进行调整, 并不需进行重新训练模型, 相比之下其所花费的自身成本是相对较为低廉的。更为关键且重要的是, 这三条路径是能够实现叠加的, 具体表现为你能够同时拥有一个参数量更为庞大的模型, 以及更多的训练数据, 还有更多的迭代深度。目前这篇论文主要呈现出的是关于文本世界建模任务之下得到的那种结果, 该团队表明在连续视觉环境之中进行开展训练获得一定的可行性已然得到了验证, 而完整的相关成果也即将进行披露。

你认为, 未来的世界模型, 会完全摒弃“越大型便越好”这样的路线, 进而去接纳那种小且美的循环架构吗, 欢迎于评论区分享你的见解, 进行点赞以及转发以使更多人能够见到这个具有颠覆性的突破！