科大讯飞发布星火X2.6:293B云端模型配4B端侧模型
端云一体,成为了Agent时代算力经济学的必然形态|甲子光年
10月22日全球1024开发者节上,科大讯飞发布讯飞星火X2.6,由云端293B总参数、30B激活的MoE模型与开源4B端侧模型及路由层组成,云端训练和推理全程使用国产算力。讯飞称端侧可独立完成的Agent任务占比提升至41.9%,端云路由准确率由81.2%提升到96.1%,云端上下文从256K扩到1M。
这条信号在站内保留事实摘要与战略研判。完整内容和上下文请以原文为准;融资、并购与技术效果以原始披露为准。
讯飞给Agent时代交出的全国产算力的工程答卷。 作者|七月 编辑|栗子 很多人可能都不记得,早期时候手机里的语音输入,是需要联网的。 当时,用户说一句话,需要先上传到服务器,识别完再传回来,速度全看网速快慢。 但今天,日常听写直接在手机本地就能搞定。 厂商不用再为每一句闲聊付服务器的钱,用户说的话也不用句句都离开手机。 今天的大模型,正在重走这条路,只是业务更大更重要。一次复杂的Agent任务,动辄几十轮调用、消耗几十万Token。如果完全依靠云端,必然会遇到高昂的算力成本和严苛的数据合规问题。 由此,端云一体,成为了Agent时代算力经济学的必然形态。 10月22日的全球1024开发者节上,科大讯飞发布了讯飞星火X2.6。 它是一套组合:云端是一个293B总参数、30B激活的MoE模型,全程在国产算力上训练和推理;端侧是一个开源的4B小模型,装在手机、电脑甚至学习机里;中间是一个路由层,决定每一次任务是在端侧还是在云上。 更重要的是,这里的“端”,指的是用户的手机,而非企业自建的机房。路线也和当年的语音输入一样,让大多数请求在端侧处理,小部分端侧处理不了的需求上云。 讯飞给的数字是,能在设备上独立完成的任务占比,提升到了41.9%。 这个数字背后,我们更关心三个具体的工程与商业问题:在受限的国产算力上,云端大模型到底能做到什么水平?中间的路由层凭什么精准判断一个任务该去哪?以及,这套东西最后到底由谁来买单? X2.6的发布,是讯飞对这三个问题给出的第一版答案。 1.算不清的Token账, 出不去的行业数据 纯云端路线遇到的第一个问题是成本。 ChatBot的对话AI时代,一次问答消耗几千Token,并且越来越便宜,所以没人在意这点钱。 但Agent时代的成本已不可同日而语。 一个完整的Agent任务,要先读材料、拆解需求,再挑工具、写代码、核对结果,中间往往还要返工几轮。每一步都是一次模型调用,而且每次调用都得把前面的上下文重新读一遍。一旦把几十页的合同、几百封邮件或者几千行代码的仓库丢进去,单次任务消耗的Token轻松就到百万级。在业内各种实测里,这早就不是什么新鲜事。 不仅如此,token的消耗方式也在发生变化。 此前的token消耗与问答次数挂钩,而现在则要看任务的长度。比如把合同审查、经营复盘、客服工单这些任务交给Agent,就意味着它必然在企业内持续不断运行。即使token价格下调,也追不上消耗量的增长。 所以,一家企业要想真正用上Agent,除了模型成本本身要有性价比,还需要考虑如何减少任务环节、减少重读上下文次数、减少云端处理。这才是Agent可用的前提。 第二个问题是合规。 央国企、金融、医疗、政法,是眼下对大模型最舍得花钱的几个行业,也是对数据管得最严的几个行业。 他们常说的“数据不出域”,翻译成大白话就是:原始文件不离开自己的机器和机房,谁能看、拿去干什么,自己说了算。合同里的对方账户、病历里的患者信息、作业本上的学生姓名,在这些机构的规则下,无论云端模型多聪明,都不能把原件直接上传第三方云端。 “我们重要敏感的商业数据、科研数据,敢不敢交给最聪明的大模型去处理?即便它再聪明,可能都会出现幻觉,如何保障在重大领域的完全安全可控的运行?我们消耗的投资成本越来越大。一件简单工作都会消耗掉我们几千美金的机会成本。”科大讯飞董事长刘庆峰在全球1024开发者节主论坛现场直言。 买家的数据是这一问题最好的反馈。 第三方机构智能超参数统计,2026年前三个季度,大模型中标项目里应用类项目的数量占比从58%升到64%;算力类项目的金额占比则从二季度的67.3%降到了三季度的52.9%。这意味着,买家的注意力开始从“算力是否充足”转向了任务的“可完成度”和“安全性”。 不仅如此,金融机构围绕安全围栏、提示词攻击防护、安全评测和智能体观测的采购需求也在快速增长。 2024-2026年9月金融行业大模型季度中标项目数量及披露金额 图源:智能超参数 任务越来越长,Token越来越多,买家越来越注重结果与安全。而破局的方式,就是端云一体。 2.按结果收钱的厂商, 最想替客户省Token 与海外直接向用户收订阅费不同,国内AI的商业化其实并不顺利:C端付费率不高,B端客户大多按项目制付费。 在这种情况下,一部分国内厂商选择不按调用量收费,而按业务结果收费。 比如学校买一台智能批阅机,付的是设备和服务的钱;医院接入影像云,按调阅次数付费。客户只为结果买单,背后调用多少次模型、消耗多少token,他们并不关心。 这种商业模式看似非常合理,但从整个企业级AI市场来看,落实的厂商并不多。原因很简单,价格一旦按结果锁死,模型每多消耗一个token,吃掉的都是厂商自己的利润。 在这种情况下,这些厂商显然更希望AI可以在本地处需求,而非上传云端
来源只提供摘要,完整内容请打开原文。
来源:WeChatRSS:甲子光年 · mp.weixin.qq.com
所属事件:科大讯飞发布星火X2.6端云一体模型组合