Allen AI 发布长上下文状态追踪基准 StateBench

Allen AI 在 Hugging Face 发布 StateBench，用于评测语言模型在长文档中追踪实体状态变化的能力，并同时公开技术报告、数据与代码。基准按四种赋值操作划分四级难度，四种设置使用相同数量的变量和不同取值，赋值在序列中的位置也相同，只有赋值类型不同。 据 Allen AI 介绍，参与评测的模型预训练数据相同，训练时均未见过超过 64,000 token 的上下文，而多数测试输入远超这一长度；模型训练时序列最多含 256 次赋值，测试时最长达到 64,000 次赋值，为训练最大长度的 250 倍。 StateBench 假定变量数量固定，而 Allen AI 指出真实任务常随时间引入新实体，这是该基准与真实场景的差异之一。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。