科大讯飞发布语音基座大模型SparkAudio 1.0

用全国产算力训练的底座，破局智能语音不可能三角。 作者 | 程茜 编辑 | 漠影 如果让你扮演一名刑侦助手，你能从下面数种声源混叠的音频里分析出受害人的所在位置吗？ 讯飞最新发布的语音基座大模型SparkAudio 1.0，在几秒内就给出了答案：被拐孩子周围是大型机械设备发出的规律性噪音，可能在火车或地铁上。 模型给出了完整的分析过程，其没有根据孩子提到的“歌声”就默认是人或乐器发出的声音，而是通过嗡鸣声、机械设备的规律性噪音等数种声源，以及孩子提到的“在车上”去分析可能是什么场景发出的声音。不过，我们在音频中还能听到短促的警示音，模型并没有对此进行分析。 接着下一段音频里，孩子描述了自己所处环境。我们在提示词中要求模型不针对语音内容进行推测，需凭各种声音分析推断被拐孩子附近的状况。 可以看到， SparkAudio 1.0分析时会将孩子说话的内容与声音结合分析，其把音频中汽车声音、机械设备、小朋友说话等各种声音，和孩子描述的“汽车在开会”、“圆圆的车”等抽象内容对应，分析出周围可能有大量体积较大的车等。然后在结论中通过声音线索给出孩子所处位置的几项关键特征。 不过，模型上一个问题就分析了被拐孩子可能在乘坐火车或地铁，但模型并没有结合两段音频做一些综合性判断。值得一提的是，虽然 刑侦场景对于线索判断的严谨性非常高，但 SparkAudio 1.0已经展现出帮助专业人士在音频文件中挖掘更多潜在线索的能力。 语音本身是人类最本能、最低成本的沟通方式之一。过去AI大多只聚焦识别其中的文字内容，而像SparkAudio这样 具备声场+人声复杂感知、理解和推理能力 的模型，正让语音交互迈入全新阶段。 伴随AI与物理世界的连接日益紧密，在智能座舱、AI眼镜、人形机器人等诸多场景落地，大模型不仅要听清、听懂，还需要在动态复杂环境里同步感知声音、理解意图、协调行动。 在这一背景下，作为语音技术赛道的头部玩家，科大讯飞将沿着“ 语音交互—多模交互—具身多模交互 ”持续进阶，以软硬一体的技术和产品创新，推动新一代人机交互走进日常生活。 这条技术路线的最新成果，就是其上周2026年科大讯飞全球1024开发者节期间，发布的 依托全国产算力训练的星火语音基座大模型SparkAudio 1.0 。基于这一基座模型，科大讯飞在语音识别、语音同传、实时语音交互等专项场景，形成了一套分层落地思路： 先搭建通用语音基座大模型完成统一音频预训练，让模型学习人声、环境声、时序关联、说话人关系等通用音频表征；基座模型提升识别、同传、实时交互等基础能力，拓展音频理解、情绪识别、实时说话人分离和环境声理解能力，再由语音专用任务大模型面向具体任务做极致调优，以此平衡任务效果、任务精度、时延与工程成本。 语音已经成为下一代AI应用落地的核心交互载体。这套依托全国产算力打磨出来的语音基座大模型，正在为人机自然对话、沉浸式交互打下根基，推动大模型真正听懂声音里的场景、关系与意图，支撑下一代智能硬件的交互革命。 01 . 搞定智能语音不可能三角？ 语音基座大模型是杀手锏 语音是区别于图文、原生连续的交互方式，因其能解放眼手，并适配移动、具身场景的交互需求，成为智能座舱、AI眼镜、机器人等下一代硬件的核心交互方式。 但随之而来，这些场景也对语音交互各项指标提出更高要求，使得智能语音效果、任务的准确率/时延指标、工程成本三者很难同时拉满。 我们从科大讯飞亮出的最新答卷里，看到一条平衡这三者的可行路径： 语音基座大模型+语音专用任务大模型 。 这套方案的基座就是新发布的SparkAudio 1.0。该模型支持文本、语音双模态输入以及文本模态输出，可完成语音转写、多语言翻译、多方言识别、环境音识别、说话人分离、情感分析以及复杂音频问答等任务。 根据科大讯飞公开的基准测试结果，相比于业界多款SOTA闭源模型，SparkAudio 1.0的表现更优，在指令跟随方面与其他模型持平。 正如开头案例所示，音频会携带时序、说话人、环境等独有信息，因此对其进行分析时需要面临场景复杂、噪声干扰强、实时性要求高等挑战。而独立语音基座大模型的价值就在于，可以先吃透声学细节、攻克复杂声场难题，再叠加多模态信息互补增效，从而更贴合真实交互场景。 因此，为了补强模型表征能力、压缩端到端时延、降低推理算力开销，科大讯飞采用了三大核心技术： 首先是 半监督音频解码器SemiEnc 针对的是语音领域表征建模弱的痛点。 在预训练过程中，其将量化器输入从原始的声学特征升级为结合有监督数据构建的语音专用任务大模型提取的强化表征，引入不同维度的信息先验，通过多任务训练显著强化编码器的建模能力， 提升了语音识别等任务的鲁棒性，带来了各项任务的效果提升。 其次是 动态分段端到端建模S-S2S ，进一步降低端到端时延。 其以语音到语音

来源只提供摘要，完整内容请打开原文。