Skip to content

大模型上下文工程

系统学习大模型 API 的设计哲学与工程实践:从 Token 到 Tool Call,从提示工程到 RAG,掌握上下文工程的核心技术。

本课程共 7 个阶段、21 节课,面向开发者、产品经理和 AI 爱好者,原理与实践并重。

第一阶段:对话的诞生 — Chat API 革命

核心主题:理解大模型 API 的基础设计

序号课程简介
1从 Playground 到 APIChatGPT API 发布、messages 数组、三种角色、流式输出
2Token:大模型的最小货币BPE 分词、中文成本、tiktoken 计数、定价对比
3上下文窗口:模型的「工作记忆」KV Cache、Lost in the Middle、上下文窗口演进

第二阶段:提示工程即上下文设计

核心主题:通过提示词控制模型行为

序号课程简介
1System Prompt:给 AI 写「员工手册」角色设定、输出格式控制、约束与禁止
2Few-Shot:用示例教 AI零/少样本学习、思维链、示例选择策略
3提示工程的边界提示词能做什么、不能做什么、上下文工程的兴起

第三阶段:结构化输出

核心主题:让模型输出可预测、可解析

序号课程简介
1JSON Mode:让模型输出可预测格式不可靠的痛点、JSON Mode、错误处理
2Structured OutputsConstrained Decoding、JSON Schema 约束、100% 格式保证

第四阶段:Tool Call — 让 AI 动手干活

核心主题:从聊天到行动,AI 使用外部工具

序号课程简介
1从聊天到行动Function Calling 诞生、设计哲学、JSON Schema 工具定义
2Tool Call 完整流程六步流程、并行调用、tool_choice 控制
3从 Function Call 到 MCPN×M 问题、MCP 协议、工具生态标准化

第五阶段:RAG — 给模型外挂知识

核心主题:解决幻觉,让模型基于真实文档回答

序号课程简介
1幻觉:当 AI 一本正经地胡说八道幻觉类型、根本原因、纽约律师案例
2RAG 管线:检索→增强→生成Embedding、向量数据库、Chunking、完整代码
3RAG 进阶:从能用到好用查询重写、混合检索、Reranking、评估指标

第六阶段:记忆与上下文管理

核心主题:为什么需要记忆、记忆管理发展历程、多轮对话管理

序号课程简介
1为什么 AI 需要记忆无状态 API 的本质、记忆三层分类、记忆的价值
2记忆管理的发展历程五代演进:手动→LangChain→MemGPT→内置记忆→记忆基础设施
3多轮对话的上下文管理截断、滑动窗口、摘要压缩、混合策略
4长上下文 vs RAGLost in the Middle、两条路线对比、混合方案

第七阶段:上下文优化与展望

核心主题:成本优化、Skill 模块化、渐进式披露、未解之谜与课程总结

序号课程简介
1上下文缓存与成本优化Prompt Caching、Batch API、模型选择、成本案例
2Harness Engineering:从上下文工程到运行时系统三次范式转移、OS 类比、Skill 模块化、渐进式披露、Hook 机制、约束悖论
3未解之谜:上下文工程的未来无限上下文、SSM/Mamba、课程总结