DeepMind指Softmax与交叉熵实现存精度Bug

Google DeepMind 首席研究科学家 Jonathan T. Barron 等人于 10 月 22 日提交论文《A Fix for Softmax and Cross-Entropy》，指出 PyTorch、JAX、TensorFlow 的标准 Softmax 与交叉熵实现存在两个数值精度 Bug，并提出修复方案。 论文主要通过模运算 Grokking 任务和特定知识蒸馏实验验证修复效果。研究团队承认，实验中出现的极大 Logit Margin 以及学生与教师几乎完全相同的输出，在常规大规模训练中并不常见；修复在大规模模型训练中的实际效果仍需进一步验证。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。