Ai2发布LLM新颖性评审基准与数据
热点事件持续更新
Ai2发布LLM新颖性评审基准与数据
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Ai2 发布研究《Old Ideas, Novel Problems》，并公开用于测试 LLM 新颖性评审的基准、数据和代码，结论是 LLM 判断研究想法新颖性的可靠性存疑。 该基准的人类想法池来自 ICLR 2026 评审意见：高新颖性池含 154 条被接收论文的想法，这些论文在其研究领域评分前 10%，且评审明确肯定新颖性、无人质疑；低新颖性池含 145 条被拒论文的想法，这些论文评分处于后 10%，评审提出原创性担忧且无人肯定新颖性。另配 154 条 LLM 生成想法，Ai2 称这些是弱标签，即假定其新颖性低于人类想法，并非逐条核实。 Ai2 同时提供自动化流程，供研究者构建新的评估集。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 00:12
Ai2 发布新颖性评审基准：LLM 判断研究想法可靠性存疑报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face BlogAi2 发布新颖性评审基准：LLM 判断研究想法可靠性存疑
Ai2 发布研究《Old Ideas, Novel Problems》，并公开用于测试 LLM 新颖性评审的基准、数据和代码。研究基于 ICLR 2026 评审意见构建 154 条高新颖性与 145 条低新颖性人类想法池，另配 154 条 LLM 生成想法。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。