高通进博会展示端侧 MoE 智能体演示

发言人：高通公司AI产品技术中国区负责人 万卫星 2026年11月7日，上海 终端侧AI发展到了什么阶段？ 终端侧AI经过过去3至4年的发展，正在迎来一个比较重要的变化节点。 从应用来看，终端侧AI并不是从大模型开始的。影像其实是AI较早在终端落地的领域之一。近年来手机拍照效果不断提升，背后就有终端侧AI技术的推动。如今，终端侧AI已经进一步拓展到简单问答、聊天、图像生成与处理，以及文本处理、语音转录、实时翻译等多模态应用，其中不少功能在端侧落地的条件已经比较成熟。 不过，目前很多端侧AI应用仍然偏向单点功能。例如自动语音识别（ASR）、文本摘要、图片处理、简单聊天机器人等，大多解决的是一个具体任务。如果未来希望终端能够进一步完成意图理解、任务编排、实时操作目标App等系统级、规划类任务，就需要更强的端侧模型能力。 这意味着，终端侧AI正在逐渐从解决一个个具体任务，向更加复杂的智能体体验演进。 为什么需要终端侧AI？端侧和云端是什么关系？ 高通并不强调端侧的唯一性，而是强调端云协同或者“计算连续体”，其中一个重要思路是“端侧优先”（on-device first）。 传统依赖云端的AI服务，每一次推理都需要消耗云端Token、GPU以及云端调度资源，同时依赖网络连接。如果将合适的AI能力部署到端侧，则可以减少对网络的依赖，提供更加及时和稳定的响应，同时发挥终端在安全、隐私和个性化方面的优势。 如果用一个比较直观的比喻来理解：云端更像一个“通用知识库”，端侧则拥有更多属于用户个人的“专业化知识”。 端侧可以结合用户是谁、在哪里、过去做过什么，以及当前所处的环境，对用户接下来可能需要的服务作出判断，这也是“主动式AI服务”的基础。 因此，端侧并不是孤立的体系。云端可以承接需要更强智能和计算能力的任务，端侧则能够发挥实时、稳定、隐私以及个性化等优势，二者相互协同。 为什么MoE成为终端侧AI的重要技术方向？ MoE全称为Mixture of Experts，即混合专家模型。理解MoE，可以先把它和传统Dense模型进行比较。 以一个30亿参数的Dense模型为例，每完成一次推理，30亿参数都需要运行一遍，才能得到最终输出。 MoE的工作方式有所不同。它将模型中的参数划分为多个不同的“专家”模块，每个专家模块负责其中一部分，而且可能擅长不同的任务。当模型处理某个具体任务时，只需要调用与这个任务相关的部分专家模块。 比如，一个MoE模型包含20个专家模块，执行某个任务时，可能只需要调用其中2至3个专家模块，而不是让全部20个专家模块同时运行。 一个很直观的“厨师”比喻：Dense模型就像家里只有一个厨师，无论想吃什么菜，都由这个厨师来做。他可能会很多菜系，但每一种都未必最擅长。MoE则像同时有多位擅长不同菜系的厨师，有的擅长鲁菜，有的擅长京菜，有的擅长淮扬菜。当你想吃淮扬菜时，只需要让擅长淮扬菜的厨师工作，其他厨师可以休息。 也就是说，模型虽然拥有很多“专家” 模块，真正执行一次任务时，只需要让其中一部分参与计算。这种机制可以减少一次推理需要实际运行的参数量，提高模型运行效率。 MoE为什么对终端侧AI尤其重要？ MoE在云端大模型中已经得到应用。随着端侧AI发展，越来越多的端侧模型也开始采用MoE方案。 这一技术对于终端尤其重要，因为手机、PC等设备受到内存和功耗等条件限制。 目前主流做法通常只能在端侧运行20亿至30亿参数规模的模型。这一规模已经可以很好地完成ASR、文本摘要、图片处理、简单聊天等单点任务，但如果希望完成系统级、规划类的复杂任务，模型的智能能力仍然面临一定限制。 现阶段采用20亿、30亿或40亿参数规模的模型，并不是完全无法运行这些复杂任务，但是完成度和准确度仍有提升空间，可能达到60%、70%或80%的水平。借助MoE，则有机会进一步提升端侧模型的智能水平以及复杂任务的完成度和准确度。 这也是MoE对于终端侧AI的一个重要意义：在终端有限的内存、功耗等条件下，为部署和运行更高智能水平的模型提供新的技术路径。 随着相关技术进一步发展，目前现场展示的意图理解、任务编排、实时操作目标App等能力，未来有望进一步应用到手机、汽车、PC等不同终端。 高通在进博会现场的端侧MoE智能体演示展示了什么？ MoE模型包含多个专家模块，因此模型总体体量较大。在端侧真正运行起来，除了模型自身的智能水平，还需要解决两个非常实际的问题：如何根据当前任务，提前预测接下来需要调用哪些专家模块；预测完成后，如何快速从存储中调用这些专家模块，并让它们及时参与计算。 在大模型推理过程中，DDR带宽往往是一个重要瓶颈。如果能够提前判断下一步需要哪些专家模块，并将这些专家模块预取到合适的位置，就能够减少等待时间，提高模型运行效率。 高通在第九届进博会展

来源只提供摘要，完整内容请打开原文。