MaxxBench发布89项DeepSWE变体任务

MaxxBench发布了一套包含89项DeepSWE任务的基准测试，这些任务在指令或起始代码上做了小幅改动，属于同一工程问题、要求略有不同。 据Ethan Mollick转述，在DeepSWE上得分集中在74%附近的模型，在这套变体任务上的表现差距达到23个百分点。

AI 根据报道生成 · 20 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。