对谈西湖心辰蓝振忠：扩散模型与并行思维链路线

“别人不做，所以我们得做。” 文丨江思远 蓝振忠的气质看上去像一名在读研究生，沉静，说话不疾不徐，他是卡耐基梅隆大学博士，计算机视觉出身，曾是谷歌的大模型专家，做出了 ALBERT。两个多小时的访谈里，他三次共享屏幕给我们看论文，讲到自己的技术判断时，语气从来没有犹豫过。 这种气质可能和他酷爱的一项活动有关。冥想是蓝振忠在谷歌实习时学到的习惯，后来成了每天的固定功课。按照他的说法，冥想几乎随时随地都可以做，也不拘泥时间长短。 做过多年 AI 心理研究，蓝振忠觉得冥想 “对自己来说是最显著有效的放松方案”，因此他向身边的人各种推广，西湖心辰在 2021 年成立时，切入的领域也是 AI 心理。类似晚上睡不着或早晨醒不过来（这两件事恰好形成一种对照）这样的问题，都可以用冥想来解决。对蓝振忠而言，冥想是整理思绪、调节状态的一种方式，也帮助他更聚焦。 在 AI 世界探索也是一样的原理，多年来，蓝振忠的思路始终聚焦在用更本质的范式提升大模型能力上限。西湖心辰的业务逐渐回归到了这个简单的核心：做更聪明、也更快的大模型，服务超过千万的 C 端用户。 不过，蓝振忠的解法和我们所熟知的主流自回归大模型路线不一样，他更看重扩散模型的潜力，在这方面有绝对的信心。 常见的大模型都属于自回归，通俗来说，token 生成是按照顺序排列的，一个 token 一个 token 往外蹦，而扩散模型则可以先给出一个整体的轮廓，再通过一轮轮的迭代补全修正，换言之，它可以并行在多个位置同时生成 token。 扩散模型已经是图像和视频生成的主流路线，最具代表性的是 DiT 架构，即把扩散模型和 Transformer 结合起来，其中的 D 代表的就是扩散（Diffusion），OpenAI 的视频模型 Sora 就是一个应用典型。 蓝振忠认为通用大语言模型——目前 AI 竞赛的圣杯——同样适用这种方式。 2019 年在谷歌时，蓝振忠以第一作者的身份做出了 ALBERT，它和 BERT 一样是掩码语言模型，把一句话遮住一部分，模型根据上下文猜出来缺失的句子意思，和 BERT 的区别在于 ALBERT 让多层共享同一套参数，扩散语言模型也是用更多的计算量换来更高的参数利用率。 蓝振忠认为这种方法更本质。2025 年，兼任蚂蚁技术研究院通用人工智能中心主任的蓝振忠开始推动研究规模化，扩散语言模型 LLaDA 的参数从 8B 扩大到了千亿，在蚂蚁技术研究院通用人工智能中心，蓝振忠的团队相继推出全球首个原生 MoE 扩散模型 LLaDA-MoE、首个扩散语言模型工业级推理框架 dInfer、首个千亿参数扩散模型 LLaDA 2.0，以及首个大规模 Agentic 扩散模型 LLaDA 2.2。其中，LLaDA 2.0 在对话任务上的能力与同代自回归模型持平，推理速度提升 3 倍以上，这很适合金融场景对高并发、低延时的需求，目前已在金融风控和代码修改两个场景落地。 西湖心辰即将发布的新模型则是一个并行思维链的扩散模型。 同事形容蓝振忠是一个 “非常简单” 的人，只想做心里那一两件事，而扩散模型这条看上去艰难而少有人走的路一直是蓝振忠的选择，在被问到为什么偏要走这条路的时候，一直语气平和的蓝振忠给出一个豪迈的回答：“我不喜欢做追随者。” 蓝振忠 让一切并行 蓝振忠对目前 AI 领域主流的自回归模型最不满意的地方，在于模型训练和推理阶段实质上的背离。 训练大模型时，一段文本的所有位置是在同时计算的，GPU 的并行能力由此被充分利用，然而到了推理阶段， token 却需要一个字一个字串行向外吐，每一步只能在已生成前缀上确定下一个 token。 逐字生成让显存带宽成为最核心的瓶颈，庞大的计算单元在推理阶段大部分时间是在等数据，蓝振忠认为，这也是芯片厂商不得不把训练芯片和推理芯片分开设计的原因之一。 在低批量解码中，显存带宽常成为瓶颈，扩散路线试图用更多并行计算换取更少的串行步数，从理论上说，它的训练和推理是并行的。同时，鉴于图像、视频和语音生成至少已部分采用扩散模型，语言这个模态的加入可以实现训练目标更好地统一。 在我们的访谈中，蓝振忠提到了一篇 2025 年卡内基梅隆大学的论文 Diffusion Beats Autoregressive in Data-Constrained Settings。论文提出，在数据有限的情况下，自回归模型重复训练约 4 遍后收益就开始递减，而扩散模型重复到 100 遍左右，效果依然接近使用全新数据。 论文给出的解释是，扩散模型每次遮住的位置是随机的，这意味着即使是同样的数据，模型学到的都是新的能力，有着更高的智能上限。蓝振忠在自己的实验里看到了同样的现象，后训练阶段的有限数据在自回归模型上训练两轮左右就开始过拟合，而扩散模型能训练到 10 轮以上。在高质量

来源只提供摘要，完整内容请打开原文。