2
1
0
Andrej 为了解释 Word 和 Token 的区别，写了个小程序，把 Token 用 Emoji 表示，好帮助你直观的理解 LLM （大语言模型）看到的世界和我们看到的世界是不一样的。
简单来说一个单词会由一到多个Tokens组成，比如“strawberry”是一个单词，但是可能是“str”、“aw”和“berry” 3 个Token，而 Token
IT技术
(
twitter.com
)
由
宝玉
提交
Andrej 为了解释 Word 和 Token 的区别，写了个小程序，把 Token 用 Emoji 表示，好帮助你直观的理解 LLM （大语言模型）看到的世界和我们看到的世界是不一样的。
简单来说一个单词会由一到多个Tokens组成，比如“strawberry”是一个单词，但是可能是“str”、“aw”和“berry” 3 个Token，而 Token 存储的时候也不是字母，所以如果让 LLM 计算出 strawberry 里面有多少个 r，或者对其反转，那它是很困难的。
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
1
2
1
1
2
2
1
1
4
4
3
3
5
3
2
2
7
2
1
1
8
2
1
1
