第 2 课 Token 和上下文:为什么聊久了 AI 会忘事
看懂这两个词,就看懂了大模型的价格表和各种限制。
Token 是大模型读写文字的最小单位。模型不是按字读的,而是先把文字切成一小块一小块。 粗略地说,英文约 4 个字母一个 token,中文一个汉字大约 1 到 2 个 token(不同模型切法不同)。
为什么要关心 token
- 价格按 token 算:用 API 时的「每百万 token 多少钱」就是这个。输入和输出通常分开计价,输出更贵。
- 长度有上限:模型一次能处理的 token 数是有限的,这个上限叫上下文窗口。
上下文窗口是什么
可以把它想成模型的工作台。你的问题、之前的聊天记录、你贴进去的文件,都要摆在这张台子上,模型才看得见。
模型本身不记得你们聊过什么。每发一条消息,App 都会把之前的聊天记录一起重新发给它。聊得太长,台子放不下,最早的内容就被挪走了,所以它「忘事」了。
实用建议
- 换话题就开新对话。旧内容留在台子上,既占地方,又会干扰回答。
- 聊了很久后效果变差,让它先总结一下目前的进展,把总结贴到新对话里继续。
- 文件太长时,只贴相关的部分,别整本扔进去。
本课由 AI 辅助撰写,再按公开资料核对,具体操作以各家官方文档为准。