跨越雪山与无穷的开始：硬核拆解 Kimi K3 的 2.8 万亿参数与大模型下半场的“Test-Time”范式革命

最近，月之暗面（Moonshot AI）发布的 Kimi K3 在整个科技圈引发了巨大的震荡。2.8 万亿参数（2.8T parameters）、100 万 Token 的上下文（1M context window）、以及原生集成的文本与视觉能力，让它一跃成为目前全球最大的开源权重模型。在 Artificial Analysis 的智能指数中，K3 拿到了 57 分，直接杀入第一梯队，逼近 Claude Fable 5 和 GPT-5.6 Sol

跑分榜单数据跃升的背后，代表的底层计算范式与工程哲学的根本性重构。Cathay Innovation 的 Denis Barrier 甚至将 K3 的开源称为大模型领域的“斯普特尼克时刻（Sputnik moment）” 。

前几天，重温了月之暗面创始人杨植麟一场长达1个多小时的深度访谈。现在结合 K3 公布的架构细节，以及近期英伟达 CEO 黄仁勋、海外科技巨头对开源生态的站队，一条清晰的技术脉络正在浮出水面。

今天，脱离喧嚣的 PR 话语，从架构演进、因果链条（为什么 K3 这么强）、以及 AI 系统工程的角度，为大家硬核拆解 K3 诞生背后的底层逻辑——这也是每一位身处 AI 时代的工程师都应该具备的“前置认知”。

认知重构：打破 AGI 的“终点幻觉”

在讨论具体技术之前，我们必须先对齐一个架构哲学。

过去，我们倾向于将 AGI（通用人工智能）视为一个具体的系统里程碑——就像“登月”，只要脚踩在月球表面，那一刻就是终点。但杨植麟在访谈中借用物理学家大卫·多伊奇（David Deutsch）在《无穷的开始》（The Beginning of Infinity）中的核心观点，提出了一个极其高瞻远瞩的隐喻：攀登无尽的雪山。

“问题是不可避免的，但问题是可以解决的。”

随着 K3 乃至未来模型能力的提升，我们不是在接近一个静态的终点，而是在解锁更高维度的复杂问题。杨植麟的博士导师、CMU 教授 Ruslan Salakhutdinov 曾透露，杨植麟甚至想研究“无限上下文（infinite context）”模型，目前 K3 达到了 100 万级别，未来也许能赋予模型真正的无限长上下文。

对于我们开发者而言，这意味着不要去等待一个“完美形态”的 AGI 出现后再去构建应用，因为这座雪山没有顶，沿途皆是重构现有软件系统的风景。

---

K3 架构解密：2.8 万亿参数为什么能跑得快、学得好？

许多工程师听到 2.8 万亿参数（2.8T parameters）的第一反应是：这东西怎么跑？为什么它能有这么强的能力？

这是一条清晰的因果链：规模（Scale） -> 稀疏激活（Sparsity） -> 注意力创新（Attention Innovation） -> 强化学习激活（RL Activation）。

1. 2.8T 参数背后的“克制”：MoE 与 Stable LatentMoE

K3 的 2.8T 参数并不是让每一个 Token 都去遍历这 2.8 万亿个参数（如果是那样，推理成本将是天价）。它采用的是稀疏的混合专家架构（Sparse Mixture-of-Experts, MoE）。

具体来说，K3 包含了 896 个专家（Experts），但在处理每个 Token 时，通过其 Stable LatentMoE 框架，仅激活其中的 16 个专家（16 active per token）。这意味着它的激活参数（Activated Parameters）大约在 103B 左右，从而在极大地扩充模型“知识容量（参数量）”的同时，控制了计算量。

2. 长文本的阿喀琉斯之踵：KDA 与 AttnRes 的解法

长达 100 万的上下文窗口（1M context window）意味着极高的 KV Cache 内存压力。为了让这种超长上下文在工程上变得负担得起（affordable to serve），K3 在架构上做了两把“尖刀”：

• Kimi Delta Attention (KDA)： 这是一个混合线性注意力机制。我们可以通俗地理解为：在任务的关键节点，Kimi 使用全注意力计算来保证准确度；而在非关键路径上，切换到线性注意力来大幅降低推理成本。
• Attention Residuals (AttnRes)： 结合 KDA，这两者帮助信息在更长的序列和更深的模型层中顺畅流动。

K3 的 Transformer 骨干网络（text backbone）包含了 93 层，其中 69 层是 KDA，24 层是 Gated MLA（Multi-head Latent Attention）。这种交替的层设计，正是为了在“极长的记忆（Context）”和“计算的经济性（Efficiency）”之间寻找完美平衡。

3. 突破数据墙的底层密码：Muon 优化器与 Token Efficiency

为什么 K3 能在智能密度上实现跃升？访谈中透露了一个极具价值的硬核工程细节：抛弃对 Adam 优化器的路径依赖，追求 Token Efficiency（Token 效率）。

在万亿参数模型的训练中，高质量数据（如多模态、逻辑推理语料）的增长极其缓慢。传统的思路是优化“计算效率”——让 GPU 跑得更快。但杨植麟团队深刻意识到，跑得快不等于学得聪明。

他们创新性地在 K3 的训练中使用了类似 Muon 优化器 的技术（K3 官方博客提到了 Per-Head Muon，它独立优化每个注意力头，以实现更大规模下的自适应学习）。

---

范式跃迁：Test-Time Scaling 的两条分岔小径

有了强大的 Base Model（得益于 2.8T 规模和 Muon 的高效吸收），下一步就是如何激发它的智能。

如果我们以 OpenAI 提出的 L1 到 L5 的演进路线来看，L2（推理者 Reasoner）和 L3（智能体 Agent）本质上代表了 推理期算力扩展 (Test-Time Scaling) 的两种不同解法：

1. “缸中之脑”模式 (Pure Reasoner, 强推理)

这是一种无环境交互的强化学习。想象一个拥有极高智商的大脑被放在鱼缸里，它不需要外界输入，仅靠内省、猜想、自我验证来解题。

• 架构本质： 在推理阶段（Test-Time），利用串行或并行的多条思维链，让模型隐式地进行验证与反思。这相当于把以往只能做一次的“单步预测”，扩展成了成百上千次的“猜想-验证”循环。

2. “具身交互”模式 (Interactive Agent, 如 Kimi)

模型不再是孤立思考，而是与外部世界（工具、环境）发生多轮交互。

• 架构本质： 同样是 Test-Time Scaling，但扩展的维度是“轮次（Turns）”。模型边思考边行动（调用搜索、使用浏览器、克隆代码仓、跑测试），根据环境反馈的最新状态更新下一步决策。K3 在 Agentic 测试中表现极为亮眼（例如在 BrowseComp 上拿到了 91.2% 的 SOTA 成绩）。它能理解复杂的跨模态指令，将文本、图像、代码整合成可交付的前端产品。

洞察发现： L2 的强推理能力是 L3 复杂 Agent 的前置依赖。 如果模型没有在“缸中”完成深度思考（推理）的基础智商，它在与环境交互时就极易迷失。这也是为什么张祥雨等学者提出“仅仅依靠 Next Token Prediction 去做数学推理存在缺陷（模型容易跳步）”，必须搭配强化学习的 Scaling 来激活其推理能力的原因。K3 的表现，正是建立在它 2.8T 的强大底层知识体系（Base Model），被 RL 有效激活的结果。

---

泛化危机：用 L4 (创新) 降维解决 L3 (Agent) 的瓶颈

但目前 Agent 技术也有一个致命弱点：严重的过拟合与泛化危机。

目前的 Agent 训练高度依赖类似 SWE-bench 这样的单点测试集。用强化学习（RL）去猛攻这些 Benchmarks，分数看起来很高，但在遇到长尾、未见过的私有 API 或全新的环境（OOD, Out of Distribution）时，Agent 依然会显得笨拙。

如何破局？杨植麟在访谈中给出了一个极具架构美感（甚至是套娃式）的答案：用 AI 来对齐 AI。

这其实触及了 L4（Innovator 创新者）的核心逻辑。当模型的 Agentic 能力足够强时，我们可以让模型自己参与到下一代模型的研发、评估与对齐（Alignment Research）中。跳出人类手工设计任务的局限，利用 AI 生成更具多样性、更贴近真实分布的虚拟环境来训练自己。这种“用高维打低维”的思想，是真正解决泛化难题的钥匙。

---

开源共识与组织的“强化学习”

再聊聊生态与人。

K3 发布后，行业反响剧烈。美国 AI 产业甚至在面对中国模型时出现了分裂：OpenAI 和 Anthropic 游说华盛顿限制中国 AI 系统，而英伟达（Nvidia）、微软（Microsoft）、谷歌（Google）和 Meta 则联合起来捍卫开源 AI，他们认为美国的 AI 领导地位依赖于开放的生态系统，而不是少数专有的前沿模型。黄仁勋（Jensen Huang）甚至亲自出面反驳市场对“中国大模型降低算力需求”的担忧，认为这反而会增加对 AI 基础设施的需求。

开源与闭源最终不会是绝对的零和博弈。正如月之暗面官方博客所言：“K3 是世界首个 3 万亿级别的开源模型（the world’s first open 3T-class model）”。AI 是一座极其陡峭的雪山，需要闭源去集中资本和算力冲刺最高峰，也需要开源来繁荣 Agent 层的垂直创新，实现生态的“Race to the top”。

更有趣的是，这种大模型背后的 SFT（监督微调）与 RL（强化学习）的平衡，竟然完美映射了现代技术团队的管理哲学：

• 过度依赖 SFT（微调指令）： 就像微观管理（Micromanagement），自上而下下达死命令，团队会失去创造力。
• 过度依赖 RL（强化学习）： 就像只看 KPI 和最终 Reward，极易导致“Reward Hacking”（指标作弊，但产品并未变好）。

顶级的架构不仅存在于代码和权重中，更存在于团队组织中。用 RL 的目标导向激发创新（Innovation），用适度的 SFT 防止路径偏移（Alignment），这或许是杨植麟在创业过去一年中悟出的，AI 时代最性感的管理隐喻。

最后想说

Kimi K3 的爆火只是一个缩影，它证明了中国企业在 DeepSeek 之后，正在将这种成功模式变为一种“可重复的模式（repeatable pattern）”。

在这个 AI 充当“人类文明放大器”的时代，我们正站在《无穷的开始》……

---

• Next Post →

---

---