Appearance
AI 应用基础设施三层
如果把 GPU 集群、模型部署、RAG、MCP、Agent runtime、eval 和审批都统称为 AI Infra，读者很容易在第一步就把不同层级的问题混在一起。更稳妥的做法，是先把它们拆成三层，再按层理解。
这一页只做总览，不展开细节。三层的详细介绍分别放在后面的独立页面里。
相关页面
- AI 应用基础设施三层
- Model Infrastructure：算力、集群与模型服务
- LLMOps、Context Layer 与 Tooling Layer
- Agentic Infrastructure：上下文、工具、运行时与治理
- 成本总览
三层总览
| 层级 | 推荐英文 | 中文可译 | 主要问题 | 典型对象 |
|---|---|---|---|---|
| 第一层 | AI Compute Infrastructure / Model Infrastructure | AI 算力基础设施 / 模型基础设施 | 模型怎么训练、部署和推理 | GPU、TPU、网络、存储、训练集群、推理引擎、模型服务 |
| 第二层 | LLMOps + Context Layer + Tooling Layer | 大模型工程化 + 上下文层 + 工具层 | 模型如何接入知识、数据和外部系统 | 部署、微调、评测、RAG、知识库、记忆、MCP、连接器、浏览器、数据库 |
| 第三层 | Agentic Infrastructure / AI Application Infrastructure | 智能体基础设施 / AI 应用基础设施 | 模型如何持续行动、协作、试错并被治理 | agent runtime、workflow、state、handoff、sandbox、observability、eval、governance |
该怎么读这三层
第一层：Model Infrastructure
这一层最接近云基础设施和模型服务本身。它回答的是：
模型怎么被训练出来、部署起来，并稳定提供推理服务。
如果你在讨论显存、带宽、训练集群、推理引擎、服务吞吐和扩缩容，你大概率就在这一层。
详细介绍见：Model Infrastructure：算力、集群与模型服务
第二层：LLMOps、Context Layer 与 Tooling Layer
这一层开始进入应用工程。它回答的是：
模型如何接入企业知识、业务数据和外部系统。
如果你在讨论部署流程、评测、RAG、知识库、MCP、浏览器、数据库和 API 连接器，你大概率就在这一层。
详细介绍见：LLMOps、Context Layer 与 Tooling Layer
第三层：Agentic Infrastructure
这一层已经不只是“模型接入世界”，而是“模型如何持续工作”。它回答的是：
模型如何变成一个可执行长任务、可恢复、可治理、可观测的工作系统。
如果你在讨论 runtime、workflow、state、handoff、sandbox、eval、observability 和 governance，你大概率就在这一层。
详细介绍见：Agentic Infrastructure：上下文、工具、运行时与治理
为什么不要都叫 AI Infra
把三层拆开以后，很多讨论会立刻清楚：
- 谈 GPU、推理引擎和模型服务时，用
AI Compute Infrastructure或Model Infrastructure更准确 - 谈部署、评测、知识接入和工具连接时，用
LLMOps、Context Layer、Tooling Layer更准确 - 谈 agent 的运行时、观测、治理和长期任务时，用
Agentic Infrastructure更准确
这样做的好处不是追求术语花样，而是避免把不同层级的问题混成一团。否则你会一边在说 GPU 集群，一边在说 MCP，一边又在说审批与 tracing，最后每个词都失去边界。
一条最实用的阅读顺序
如果你是第一次系统看这一组内容，比较顺的顺序通常是：
- 先看本页，建立三层边界
- 再看 Model Infrastructure：算力、集群与模型服务，理解模型为什么不是“起个 API”这么简单
- 然后看 LLMOps、Context Layer 与 Tooling Layer，理解应用为什么不只是换个模型
- 最后看 Agentic Infrastructure：上下文、工具、运行时与治理，理解为什么 agent 系统会把工程复杂度再往上推一层
结论
- 狭义 AI Infrastructure 通常仍然指模型训练与推理的底层基础设施
- 一旦讨论模型如何接入知识、数据和工具，通常已经进入 LLMOps、Context Layer 与 Tooling Layer
- 当你真正讨论“给模型装上记忆、工具、工作流、观测和治理边界”的系统时，更准确的词是 Agentic Infrastructure