研究联盟称AI多语言Token消耗最高差17倍

人工智能语言公平研究联盟称，其上月发布的研究发现，AI 模型处理不同语言时消耗的 Token 数量差异悬殊：互联网最常用的 20 种语言之间，Token 消耗量最高是最低的 1.5 至 5 倍；扩大到 200 种语言后差距进一步拉大，在其中一个 AI 模型中最多相差 17 倍。 该联盟将由此产生的额外成本称为隐性“分词器税”，并指出 Token 消耗越多，AI 响应越慢、可用的上下文容量也越少。上述倍数均为该联盟研究给出的说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。