Firefly 从真实 API 反向合成可验证工具调用数据

卢雨轩等研究者发布 NeurIPS 2026 论文 Firefly，提出 Back-Chaining 流程：先在真实 MCP Server 上探索并记录工具返回，再据此反向合成任务，使 ground truth 由生成方式保证正确。团队同时开源数据集、离线 Simulator 和训练代码。 数据集共 5,144 个可验证任务，其中 200 个留作固定测试集，其余 4,944 个用于训练。受计算资源限制，研究者目前只训练和评估了 4B 模型。 为保证可验证性，筛选阶段排除了有状态和需要用户认证的 server；研究者称真实世界中大量重要工具属于这两类，并指出在有状态环境中实现 Back-Chaining 和可复现回放仍是待解问题。

AI 根据报道生成 · 12 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。