Zyphra 提出分层注意力 ZHA，称 10M token 下加速 35 倍
热点事件持续更新
Zyphra 提出分层注意力 ZHA，称 10M token 下加速 35 倍
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zyphra 提出分层注意力方案 ZHA（Zyphra Hierarchical Attention），称其为通向真正次二次注意力的路径。该方案在由压缩摘要构成的学习树上检索，Zyphra 给出的投影加速为：10M token 时相对稠密注意力 35 倍、相对 MSA 5 倍，1B token 时约 400 倍和 55 倍。 上述数字均为 Zyphra 的投影值，并非已测得的实际效果。Steve Jurvetson 引用该说法并评论称，超长上下文可能需要次二次注意力，分层注意力不仅关乎效率，也关乎注意力能否成立。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 07:53
Zyphra 提出分层注意力 ZHA，称 10M token 下加速 35 倍报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- Future VenturesZyphra 提出分层注意力 ZHA，称 10M token 下加速 35 倍
Zyphra 介绍其分层注意力方案 ZHA（Zyphra Hierarchical Attention），称其为通向真正次二次注意力的路径。ZHA 在压缩摘要构成的学习树上检索，官方给出的投影加速为 10M token 时相对稠密注意力 35 倍、相对 MSA 5 倍，1B token 时约 400 倍和 55 倍。Steve Jurvetson 引用该说法并评论，超长上下文可能需要次二次注意力，分层注意力不仅关乎效率，也关乎注意力能否成立。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。