Token、Prompt 与上下文

token、prompt 和 context window 是一条连续链：

• tokenizer 决定模型到底看到了什么
• prompt 决定这些 token 怎样组织
• context window 决定单次请求里能装下多少信息

相关页面

1. Token 化与 DeepSeek 实例
2. Prompt 写法
3. 上下文窗口与 Agent 预算

这三部分分别回答什么

1. Token 化与 DeepSeek 实例

看的是：

• 文本如何被 tokenizer 切开
• 中文、英文、代码、路径、标点的差异
• DeepSeek 开源 tokenizer 的真实切分例子

2. Prompt 写法

看的是：

• 为什么人类自然语言习惯不完全适合 LLM
• 口语 prompt、结构化 prompt、agent prompt 的差别
• 哪些写法看似自然，其实对模型不友好

3. 上下文窗口与 Agent 预算

看的是：

• prompt 为什么比你想象中更长
• 上下文窗口真正装了什么
• agentic engineering 里怎样给工作集留余量
• 为什么 75% 更像经验上限，而不是死规则

推荐阅读顺序

Token 化
-> Prompt 写法
-> 上下文窗口与 Agent 预算

结论

• token、prompt、context window 是一条连续链，而不是三个孤立概念
• 如果你只想先读一页，推荐先看 Token 化与 DeepSeek 实例

参考资料

• DeepSeek Tokenizer (PyPI)
• OpenAI Tokenizer Playground