天津大学张长青在 CNCC 2026 介绍广义多模态融合技术

真正的挑战，是让模型保留有效信息、识别可靠证据，并适应新的任务。 作者丨 张 璐 编辑丨 马晓宁 在具身智能、自动驾驶和智慧医疗等场景中，模型需要处理的数据远不止图像、文本和语音。雷达、触觉、心电、医学影像及各类传感器数据，都可能成为预测和决策的依据。然而，不同模态之间既存在关联，也包含彼此无法替代的信息；现实数据还常常面临模态缺失、噪声干扰等问题。 如何在融合信息的同时保留模态差异？当不同来源的数据质量不一致时，模型又该如何判断哪些信息更可靠？如果每遇到一种新任务，都需要重新设计和训练专用模型，多模态技术的应用成本又该如何降低？ 10月21日，在 CNCC 2026 首日的Tutorial环节，天津大学人工智能学院英才教授、国家级青年人才张长青作了题为《广义多模态融合技术》的报告，介绍了团队围绕多模态表征、动态可信融合和通用预测基座开展的研究。 从保留模态特有信息，到利用证据评估预测的不确定性，再到尝试构建能够适应不同模态组合与预测任务的基础模型，这些工作指向同一个问题：如何让多模态融合更好地适应真实世界的复杂性。 01 超越简单对齐： 如何兼顾模态的共性与个性？ 多模态融合的价值，在于不同来源的信息能够相互补充。单一模态只能呈现对象或事件的部分特征，而不同模态的结合，有可能帮助模型形成更全面的判断。 但模态数量增加，并不意味着预测准确率必然提高。新增信息可能包含噪声，也可能对当前任务产生误导。因此，多模态融合不仅要回答如何整合信息，还要回答如何保留有效信息、抑制无关干扰。 张长青首先介绍了多模态表征中的两种思路：联合表征（Joint Representation）与协同表征（Coordinated Representation）。 联合表征尝试将不同模态的信息整合到共同的表征中；协同表征则强调不同模态之间的关联。以典型相关分析（CCA）及其深度学习变体为例，相关方法会将不同模态映射到具有较强相关性的空间，以利用它们之间的共性信息。 问题在于，如果过度强调共享信息，模态特有的信息可能难以得到充分保留。 例如，在医学诊断中，病原学检测和 CT 影像能够从不同角度提供信息。前者可能帮助识别感染的病原体，后者能够显示肺部病灶的位置与范围。两类信息相互补充，却不能简单地相互替代。 因此，多模态表征需要同时考虑共性与个性，而不是仅仅追求不同模态之间的一致性。 张长青团队尝试改变表征学习的思路：不只从观测数据中提取共同特征，还通过重构不同模态的观测，学习能够容纳多种信息的潜在表征。 在这一思路下，可以将每个样本背后的潜在表征视为需要学习的变量，再通过不同的映射机制重构各模态的观测数据。与单纯将不同模态映射到共同空间的做法相比，这种方式试图从重构目标出发，保留观测数据中包含的不同信息。 张长青将这一思路与神经辐射场（NeRF）的立体结构恢复联系起来。NeRF 根据不同视角的观测学习场景表示，并据此生成相应视角的图像。两者在通过潜在表示解释多种观测这一思路上具有相似之处，但具体任务和技术机制并不相同。 这一研究方向也与医疗、工业场景中的模态缺失问题有关。 在医院中，不同患者接受的检查项目可能不同：有些患者做了 CT，有些患者没有；有些患者具有完整的化验数据，有些患者则缺少部分检查结果。如果算法必须先补齐所有缺失数据才能进行预测，就可能面临高维数据补全困难、补全结果不可靠等问题。 针对这一问题，团队探索了基于潜在表征的学习方法，希望利用现有可观测数据进行建模，而不必对每一种缺失情况都进行人工补全。 这类研究的意义在于，现实中的多模态数据并不总是完整、规整的。如何在模态缺失的条件下有效利用已有信息，仍是多模态学习需要解决的重要问题。 02 从静态融合到动态可信决策： 模型如何判断信息是否可靠？ 即使不同模态都能够提供信息，它们在具体任务中的价值也可能随环境和样本发生变化。 张长青在报告中用一个日常场景解释了这种动态性：如果人在户外被蚊子叮咬，天色较暗、看不清蚊子时，可能会根据皮肤发痒的位置拍打；如果光线充足，则可以先观察，再采取行动。 任务没有改变，但人会根据当时能够获得的信息调整判断依据。 对于机器学习模型而言，问题也类似。在自动驾驶等场景中，可见光图像和热成像可能提供互补信息，但不同模态在不同环境下的有效程度并不相同。如果模型始终过度依赖某一种模态，就可能无法充分利用其他信息。 此前的一些研究尝试根据图像的光照质量等外部指标调整模态权重。但光照条件并不能完全代表图像对特定任务的判别价值。因此，仅凭预先设定的质量指标调整权重，并不一定能够解决动态融合问题。 张长青介绍的另一条研究路线，是将不确定性估计引入多模态融合。 在相关工作 Trusted Multi-View Classification with Dynamic Evidential

来源只提供摘要，完整内容请打开原文。