Token 与分词
概念定义
详细解释
什么是Token？
中英文差异
生动比喻
分词算法
常见分词方法
1.
2.
3.
主流算法
| 算法名称 | 特点 | 应用模型 |
|---|---|---|
| BPE | 字节对编码，平衡词汇表大小 | GPT 系列 |
| WordPiece | 基于似然的子词分割 | BERT |
| SentencePiece | 语言无关的分词 | T5, LLaMA |
| tiktoken | OpenAI优化的BPE实现 | GPT-3.5/4 |
工作原理
分词过程示例
英文示例
输入: "Hello, world!"
Token: ["Hello", ",", " world", "!"]
Token数量: 4中文示例
输入: "你好，世界！"
Token: ["你", "好", "，", "世", "界", "！"]
Token数量: 6混合文本示例
输入: "OpenAI的GPT-4很强大"
Token: ["Open", "AI", "的", "GPT", "-", "4", "很", "强", "大"]
Token数量: 9编码解码流程
Token计算技巧
实际应用
API调用中的Token
计费机制
示例计算
输入: "请写一首关于春天的诗" (12 Token)
输出: "春风吹绿江南岸..." (约100 Token)
总计: 112 Token优化建议
减少Token消耗
提高效率
技术深入
子词编码原理
BPE算法步骤
1.
2.
3.
4.
常见误区
词汇表管理
特殊Token
<BOS>：序列开始标记<EOS>：序列结束标记<UNK>：未知Token标记<PAD>：填充Token词汇表大小影响
实用工具
Token计数工具
在线工具
编程库
# tiktoken (OpenAI)
import tiktoken
encoding = tiktoken.get_encoding("cl100k_base")
tokens = encoding.encode("你好世界")
print(f"Token数量: {len(tokens)}")
# transformers (Hugging Face)
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("gpt2")
tokens = tokenizer.encode("Hello world")相关概念
延伸阅读
Modified at 2025-08-26 18:36:06