大模型上下文工程
系统学习大模型 API 的设计哲学与工程实践:从 Token 到 Tool Call,从提示工程到 RAG,掌握上下文工程的核心技术。
本课程共 7 个阶段、21 节课,面向开发者、产品经理和 AI 爱好者,原理与实践并重。
第一阶段:对话的诞生 — Chat API 革命
核心主题:理解大模型 API 的基础设计
| 序号 | 课程 | 简介 |
|---|---|---|
| 1 | 从 Playground 到 API | ChatGPT API 发布、messages 数组、三种角色、流式输出 |
| 2 | Token:大模型的最小货币 | BPE 分词、中文成本、tiktoken 计数、定价对比 |
| 3 | 上下文窗口:模型的「工作记忆」 | KV Cache、Lost in the Middle、上下文窗口演进 |
第二阶段:提示工程即上下文设计
核心主题:通过提示词控制模型行为
| 序号 | 课程 | 简介 |
|---|---|---|
| 1 | System Prompt:给 AI 写「员工手册」 | 角色设定、输出格式控制、约束与禁止 |
| 2 | Few-Shot:用示例教 AI | 零/少样本学习、思维链、示例选择策略 |
| 3 | 提示工程的边界 | 提示词能做什么、不能做什么、上下文工程的兴起 |
第三阶段:结构化输出
核心主题:让模型输出可预测、可解析
| 序号 | 课程 | 简介 |
|---|---|---|
| 1 | JSON Mode:让模型输出可预测 | 格式不可靠的痛点、JSON Mode、错误处理 |
| 2 | Structured Outputs | Constrained Decoding、JSON Schema 约束、100% 格式保证 |
第四阶段:Tool Call — 让 AI 动手干活
核心主题:从聊天到行动,AI 使用外部工具
| 序号 | 课程 | 简介 |
|---|---|---|
| 1 | 从聊天到行动 | Function Calling 诞生、设计哲学、JSON Schema 工具定义 |
| 2 | Tool Call 完整流程 | 六步流程、并行调用、tool_choice 控制 |
| 3 | 从 Function Call 到 MCP | N×M 问题、MCP 协议、工具生态标准化 |
第五阶段:RAG — 给模型外挂知识
核心主题:解决幻觉,让模型基于真实文档回答
| 序号 | 课程 | 简介 |
|---|---|---|
| 1 | 幻觉:当 AI 一本正经地胡说八道 | 幻觉类型、根本原因、纽约律师案例 |
| 2 | RAG 管线:检索→增强→生成 | Embedding、向量数据库、Chunking、完整代码 |
| 3 | RAG 进阶:从能用到好用 | 查询重写、混合检索、Reranking、评估指标 |
第六阶段:记忆与上下文管理
核心主题:为什么需要记忆、记忆管理发展历程、多轮对话管理
| 序号 | 课程 | 简介 |
|---|---|---|
| 1 | 为什么 AI 需要记忆 | 无状态 API 的本质、记忆三层分类、记忆的价值 |
| 2 | 记忆管理的发展历程 | 五代演进:手动→LangChain→MemGPT→内置记忆→记忆基础设施 |
| 3 | 多轮对话的上下文管理 | 截断、滑动窗口、摘要压缩、混合策略 |
| 4 | 长上下文 vs RAG | Lost in the Middle、两条路线对比、混合方案 |
第七阶段:上下文优化与展望
核心主题:成本优化、Skill 模块化、渐进式披露、未解之谜与课程总结
| 序号 | 课程 | 简介 |
|---|---|---|
| 1 | 上下文缓存与成本优化 | Prompt Caching、Batch API、模型选择、成本案例 |
| 2 | Harness Engineering:从上下文工程到运行时系统 | 三次范式转移、OS 类比、Skill 模块化、渐进式披露、Hook 机制、约束悖论 |
| 3 | 未解之谜:上下文工程的未来 | 无限上下文、SSM/Mamba、课程总结 |