说明：
- 模型Token来自 openai/tiktoken model.py
- data目录存储二进制token文件
- text目录存储解析得到中文词元列表
-
Notifications
You must be signed in to change notification settings - Fork 0
zispace/data-llm-tokens
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
大模型中文词元统计