标签: NLP

清除筛选

Gigatoken：比 HuggingFace 快 1000 倍的开源分词器

大语言模型训练的第一步是把文本切成 token。这个过程看似简单，实际上在万亿 token 级别的数据集上极其耗时。2026 年 7 月，斯坦福博士生 Marcel Rød 发布了开源分词器 Gigatoken，在主流 BPE 词表上实现了比 HuggingFace tokenizers 快 500 到 1000 倍的吞吐速度，比 OpenAI 的 tiktoken 快约 100 倍。

![Marcel Rød 在 X 上发布 Gigatoken](https://linlog.top/api/uploads/2026/07/1784761605984442021-1419655ccc17e

7/22/2026开源 AI NLP