分词器

将文本切分为 Token 序列的组件，模型输入输出的第一站。

分词器决定文本如何被数字化：常见方案有 BPE、WordPiece 等，将单词切为子词以平衡词典大小与覆盖度。分词质量影响模型对拼写、数字与多语言的处理效果。