岩芯矩阵开源 EdgeRock-4B，单卡吞吐达原模型 6.4 倍

不给缓存瘦身，而是让它根本不增长。 作者｜田思奇 编辑｜栗子 AI推理的成本账，正在被越来越长的任务改写。 麦肯锡预计，到2030年，推理将占AI算力需求的一半以上。KV Cache是这笔账里绕不开的一项，行业也一直在想办法：上个月，SGLang就联合千问、英伟达推出了4-bit KV Cache方案，让同样的显存装下更长的上下文。 Coding Agent让这笔账变得更紧迫。一项复杂的编程任务，模型要反复读代码、调工具、改程序，再根据测试结果接着干。任务跑得越久，要记住的历史就越多，KV Cache随之膨胀，不仅挤占显存，也压低了一张卡能同时服务的请求数。 可无论怎么压缩，缓存仍会随推理增长，只是长得慢一些；Mamba、RWKV这类固定内存的模型，又容易丢掉解题要用的关键细节。岩芯矩阵换了一个思路：不给缓存瘦身，而是让它根本不增长；同时，让模型自己学会哪些细节值得记住。 本周，岩山科技旗下岩芯矩阵联合香港科技大学、卡内基梅隆大学等高校，发布并开源EdgeRock-4B。该模型由Qwen3.5-4B转换而来，核心是团队提出的记忆岩锚（Rock Memory Anchors，RMA）：就像攀岩者钉下岩锚一样，把推理途中的关键信息牢牢固定下来。 根据团队公布的测试，EdgeRock-4B每条序列的注意力KV固定在72 MiB，在256K上下文下比来源模型少99.1%。与此同时，它在同一张GPU上的长推理吞吐达到来源模型的6.42倍，AIME 2024–2026平均一次通过率也有82.9%，与内存随推理增长的领先小模型处于同一水平。 内存省下来了，推理没有打折，吞吐还翻了几倍。这三件事同时成立，正是EdgeRock想要证明的。 1.长推理时代，AI重新算内存账 长上下文吃显存，大头在推理过程中不断累积的KV Cache。模型每生成一个新token，都要保留此前每个token的键和值，供后面的计算继续使用。 以Qwen3.5-4B为例，按公开配置计算，每多一个token，注意力KV就要多占约32 KiB。上下文到64K时，一条序列约2 GiB；到256K时，就是8 GiB。这还没有算上模型权重和其他运行开销。 EdgeRock的KV Cache不随上下文增长，在256K上下文处比来源模型少99.1% 放到一张80GB显卡上，这笔账就更直观了。推理服务靠批处理把GPU用满，可每条请求的缓存越大，能同时装下的请求就越少。很多时候，计算还有余量，显存却先见了底，单位时间产出的token也就上不去。 岩芯矩阵团队负责人徐骅在接受「甲子光年」采访时提到，业界已有不少压缩方案，比如多头潜在注意力（MLA）和KV Cache量化。它们降低了每个token的存储开销，但缓存仍会随着上下文增长。放慢增长，只是把内存墙往后推。 另一条路是改架构。Mamba、RWKV等循环模型把历史写进固定规模的状态，内存不再增长，可早期的细节很容易在更新中被冲淡，多步推导的数学题、反复调用早期代码的编程任务都会因此受影响。岩芯矩阵评测过16个这类有界状态模型，最大到14B，AIME 2024–2026的最好成绩也只有18.8%。 也就是说，固定内存并不难，难的是固定之后还记得住。 岩芯矩阵此前已在这一方向积累了相关研究，并于2026年7月启动针对Qwen3.5-4B的改造实验。据徐骅介绍，选择Qwen，与团队想验证的问题有关：Qwen3.5-4B本身是混合架构，语言、视觉和推理能力都很强，团队希望保留这些能力，只改变模型处理长期记忆的方式。 他和团队想证明的是，一款已经训练成熟的模型，也能通过架构转换获得固定内存，而且推理能力不打折。如果这条路能迁移到其他主流开源模型，固定记忆的适用范围就会大大拓宽。 2.从循环状态到主动记忆， EdgeRock改造了什么 EdgeRock的改造，集中在历史信息怎么存、怎么读上。为此，团队提出了世界状态（World-State）：模型不再保存一份越写越长的完整历史，而是维护一份容量固定的状态，并随着新信息的到来不断更新。 具体来说，世界状态把历史分成三部分：递推状态抓大意，局部窗口管眼前，锚点库记关键。前两部分沿用业界成熟的Gated DeltaNet和滑动窗口注意力；真正决定模型记住什么的，是RMA。 EdgeRock的固定记忆：递推状态概括上下文，局部窗口保留近期内容，RMA锚点库留住关键细节 RMA的关键，是让模型主动挑选值得留下的信息。徐骅向「甲子光年」介绍，团队通过训练建立了一套评分机制，判断哪些内容对后续的预测和解题更有用。新输入会生成候选记录，再和已有的记忆竞争有限的位置：模型每处理256个token取舍一次，每个KV组只留下得分最高的1024条。 留下的锚点保持写入时的样子，不会随着循环状态的更新被一遍遍重新概括。即使原

来源只提供摘要，完整内容请打开原文。