研究称AI模型Token消耗因语种最高差17倍

人工智能语言公平研究联盟上月发布的研究称，AI 模型处理不同语言时消耗的 Token 数量差异悬殊，在其中一个模型中最多相差 17 倍。 研究称，互联网最常用的 20 种语言之间 Token 消耗量已相差 1.5 至 5 倍，扩大到 200 种语言后差距进一步拉大。研究人员将由此产生的额外成本称为隐性的“分词器税”。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。