Claude 的中文语言分词成本比英文高 65%，OpenAI 仅高出 15%

Gate 新闻消息，4 月 29 日——AI 研究员 Aran Komatsuzaki 通过将 Rich Sutton 的开创性论文《The Bitter Lesson》翻译成九种语言，并在 OpenAI、Gemini、Qwen、DeepSeek、Kimi 和 Claude 的分词器上进行处理，对六个主要 AI 模型的分词效率进行了对比分析。以 OpenAI 上英文版本的分词数量作为基准 (1x)，研究发现了显著差异：在 Claude 上处理相同内容时，中文所需分词数为 1.65x，而在 OpenAI 上仅为 1.15x。印地语在 Claude 上的结果更为极端，超过基准 3 倍以上。Anthropic 在这六个测试模型中排名最低。

关键在于，当相同的中文文本在不同模型中进行处理——且都以同一个英文基准进行测量时——结果出现了惊人的分歧：Kimi 仅消耗 0.81x 个分词 (甚至少于英文)，Qwen 为 0.85x，而 Claude 需要 1.65x。这个差距揭示的是纯粹的分词效率问题，而不是语言本身的问题。中文模型在处理中文时表现出更高效率，这表明差异源于分词器的优化，而非语言本身。

对用户的实际影响十分重大：分词消耗的增加会直接推高 API 成本、延长模型响应延迟，并更快耗尽上下文窗口。分词效率取决于模型训练数据的语言构成——如果模型主要在英文上训练，它会更高效地压缩英文文本；而数据代表性较低的语言则会被分成更小、更不高效的片段。

Komatsuzaki 的结论强调了一个基础原则：市场规模决定分词效率。更大的市场会获得更好的优化，而代表性不足的语言面临显著更高的分词成本。