共绩科技谈算电协同:AI任务跨集群迁移难在哪
哪里电便宜,算力就往哪里跑?没那么简单
共绩科技创始人兼CEO付智提出"用网线代替电线",让AI计算任务跨集群迁移到电力更充裕、更便宜的地区执行。据公开报道,一项跨区域算电协同实测在三天内累计调度28万余次AI推理请求,单位Token的算力用电成本下降约31%。许钟子珩表示,目前平台分配任务主要看集群剩余资源和计算实例成本,尚未让卡时成本感知电网实时电价。
这条信号在站内保留事实摘要与战略研判。完整内容和上下文请以原文为准;融资、并购与技术效果以原始披露为准。
候鸟迁徙,是为了追逐适宜生存的气候。 一项AI计算任务的迁徙,则可能因为另一座数据中心拥有更充足、更便宜的电力,被送往数百甚至上千公里之外。 过去,算力的运行位置大多随着机房选址而确定。如今,电力供给的变化,开始成为计算任务选择落脚点的新理由。 “ 用电需求通常不能移动,但计算任务却可以迁移。 ”共绩科技创始人兼CEO付智说。 只是,与候鸟不同,AI任务无法独自完成这场迁徙。它所依赖的模型、数据与运行环境,也需要在另一座集群中得到妥善安排。 算电协同想让算力随电而动,但这场迁徙,远没有候鸟振翅那么轻盈。 01 算力不必搬家,任务却有迁移成本 据此前公开报道,一项跨区域算电协同实测在三天内累计调度28万余次AI推理请求,单位Token的算力用电成本下降约31%。 类似的探索也出现在海外,Google、英伟达和Emerald AI共同发起AI能源管理联盟,尝试让数据中心根据电网状态灵活调整用电负荷。 当电力系统开始尝试调动计算任务,另一批企业则正在建设让任务跨集群流动的基础设施。 雷峰网在共绩科技办公室见到了创始人兼CEO付智,这位有着“00后创业者”标签的年轻创始人,谈起行业频繁提及的算力调度,措辞相当直接。 “调度这个词,已经被用烂了。” 付智说。 在他看来,行业里不少企业所说的算力调度,主要围绕单个集群展开,更偏向已有GPU资源的管理。而共绩关注的是不同集群之间的任务流转,两者虽然都属于算力调度的范畴,但侧重点并不相同。 计算任务的迁移,付智用了一个简单的比喻:“比如我需要调用你大脑的计算能力,我当然不可能把你的大脑借走,那我就把数学题给你,你算完再把计算答案给我。” 分散在不同地方的计算资源,也是如此—— 机器留在原地,任务和结果通过网络 传输 。 共绩科技创始人兼CEO 付智(共绩科技供图) 在过去,这种跨集群调度主要是为了撮合算力供需。一边有闲置资源,另一边有计算需求,任务可以被分配到其他集群执行。 而算电协同又给跨集群调度增加了一项用途:当不同地区、不同时段的电力供给、电价和电网负荷出现差异,任务的执行地点可以按需进行调整。 自2023年起,共绩科技开始探索分布式算力。付智当时判断,随着AI应用增加,未来的推理任务不会全部集中在大型集群,一部分需求可能由不同地区、不同主体建设的中小集群承担。 要把这些分散的资源组织起来,就需要让计算任务能够跨集群分配 。 付智提到,自己从2023年开始思考另一个问题:中国一些地区的风电、光伏存在消纳、传输和储存难题,如果电力不方便送到需要计算的地方,能不能反过来,把计算任务送到有电的地方? 他把这一思路概括为“用网线代替电线”。 在付智的设想里, 未来分布式算力网络可以进一步与分布式风光电结合 。哪里新能源供应充裕,就更多调用当地算力;电力紧张时,则减少安排在当地执行的任务。 (关于分布式算力的更多信息,欢迎添加作者微信 treelog10 交流) 随着算力用电占比继续提高,付智认为,随着AI算力用电需求增加,算力调度与能源系统之间的联系还会进一步加深。 不过,要让算力真正跟随电力流动,仅仅能够把任务发送到另一座集群,还远远不够。 02 任务迁得快,功夫却花在迁移之前 一道数学题,发给别人只需要一张写着题目的纸。那一项AI任务的迁移,需要调度系统提前做多少准备? 在付智看来,算电协同可以沿着两条路径展开:一是在不同地区之间迁移任务,利用各地电力供给和价格的差异;二是在单个数据中心内部调整计算负荷,使其适应电网的供电节奏。 雷峰网向付智提出一个假设问题:如果一座智算中心收到电网指令,需要在五分钟内降低10%的用电负荷,该怎么办? 付智给出了两种办法:如果有其他机房协同,可以将部分计算任务转移出去;如果只能依靠自身调节,则可以适当降低任务的吞吐速度,减少功率需求。他更倾向于前者,因为对用户体验的影响相对较小。 但要让其他机房在短时间内接手任务,首先需要把分散在不同地方的算力组织起来。 共绩科技CTO许钟子珩向雷峰网介绍,不同集群的接入条件差异很大。不同集群可能运行在裸金属服务器、云平台或第三方企业的生产环境中,开放的接口、管理权限和硬件条件各不相同。 调度平台必须根据这些差异完成接入,并尽量避免干扰原有业务。“这件事其实决定了你到底能连接到多少GPU。”许钟子珩说。 共绩科技CTO 许钟子珩(共绩科技供图) 获得使用权限是第一步,任务能否迅速运行,则取决于模型和数据是否已经准备好。 “ 任务配套的数据,它可能不是能自由调度的数据,是有很强的引力的。 ”许钟子珩表示。 例如,一项AI业务可能需要几十GB的软件镜像。如果等到任务抵达另一座集群后才开始下载,就难以迅速启动。共绩采用镜像预热、模型分发和缓存等方式,提前在目标集群准备所需文件。 许钟子珩还提到,共绩接触的一家AI创作平台拥有超过1
来源只提供摘要,完整内容请打开原文。
来源:雷峰网 · leiphone.com