Token

打个比方

运输时按包裹计数，不一定按物品数量计数。模型处理文字时也会把内容切成小片段，这些片段就是文本 Token。

一个 Token 可能是一个词、词的一部分、标点或其他片段。不同模型的切分方法不同，中文字符数与 Token 数也没有通用的一比一关系。

看个例子

输入：你的问题 + 相关历史 + 文件或工具结果
输出：模型生成的回答

字符数 ≠ 固定的 Token 数

很多服务用 Token 统计用量与上下文占用。具体费用、限制和计数方式要看所用服务，不能仅按聊天框里最后一句话估计。

什么时候会遇到

• 理解为什么长文档和长对话可能消耗更多额度。
• 在上下文不足时，精简无关信息并保留关键事实。

常见误解

这里的 Token 是模型计量概念，不是登录系统里的访问令牌。两个语境用了同一个英文词。