AI 的未来 | AI 知识课程

引言

2023 年 5 月，被称为「深度学习之父」的 Geoffrey Hinton 突然宣布离开 Google。他在接受《纽约时报》采访时说了一句让整个科技界沉默的话：「我对自己一生所做的工作感到后悔。我们正在创造的东西，可能比我们更聪明。我们该如何确保它不会取代我们？」

一位在 AI 领域耕耘了 50 年的先驱，在最辉煌的时刻选择离开并发出警告。这不是科幻小说的情节——这是 2023 年真实发生的事。站在 2025 年的节点，回望 AI 走过的 75 年历程，我们面临的问题不再只是技术层面的，而是关乎整个人类文明的方向。

AGI 讨论

什么是 AGI？

AGI（Artificial General Intelligence，通用人工智能）

定义：具备与人类相当的通用认知能力的 AI 系统
      能够在任何智力任务上达到或超过人类水平

当前的 AI：
  每个模型擅长特定领域（窄 AI）
  即使是 GPT-4 也有明显的局限

AGI 的标准（有争议）：
  ├── 能学习任何人类能学的任务
  ├── 能在未知环境中自主行动
  ├── 能进行跨领域的抽象推理
  └── 能从少量数据中高效学习

AGI 何时到来？——巨头们的分歧

GH1947-

Geoffrey Hinton

深度学习之父，2024 年诺贝尔物理学奖得主

"我对自己一生所做的工作感到后悔。如果 AI 变得比我们更聪明，我们可能无法控制它。"

SA1985-

Sam Altman

OpenAI CEO，AGI 乐观派代表

"AGI 可能在本十年末到来，它将是最具变革性的技术。"

YL1960-

Yann LeCun

Meta 首席 AI 科学家，图灵奖得主

"当前的大语言模型远未达到人类水平的智能，我们需要根本性的新方法。"

不同的预测：

乐观派（Sam Altman 等）：
  「几年内」→ 2027-2030

中间派：
  「十年到二十年」→ 2035-2045

保守派（Yann LeCun 等）：
  「还早」→ 核心突破尚未出现

怀疑派：
  「可能永远不会」→ 意识和通用智能可能需要根本不同的方法

关键问题：当前的大语言模型路线能通向 AGI 吗？
  支持：Scaling Law + 新能力持续涌现
  质疑：LLM 缺乏真正的世界模型、因果推理能力

通向 AGI 的可能路径

路径 1：继续规模化
  更大的模型 + 更多的数据 + 更多的算力
  → 简单但成本高

路径 2：架构创新
  超越 Transformer 的新架构
  → 可能带来质的飞跃

路径 3：世界模型
  让 AI 真正理解物理世界的运作规律
  → Yann LeCun 的 JEPA 架构

路径 4：具身智能
  让 AI 拥有物理身体，通过与物理世界交互学习
  → 机器人 + AI

路径 5：神经符号融合
  结合神经网络的学习能力和符号系统的推理能力
  → 长期追求但尚未成功

路径 6：多智能体社会
  多个专业化 AI 协作形成集体智能
  → 类似人类社会的分工协作

AI 安全

Hinton 的警告

GH1947-

Geoffrey Hinton

深度学习之父，因安全忧虑离开 Google

"一旦 AI 变得比人类更聪明，它可能会操控我们，就像我们操控蚂蚁一样。"

Hinton 并非唯一忧虑的人。OpenAI 的创始使命是「确保 AGI 造福全人类」，但这个组织内部也经历了激烈的安全与能力之争——Dario Amodei 的出走、Sam Altman 的被解雇与复职，背后都是这场根本性分歧的体现。

核心安全问题

1. 对齐问题（Alignment）
   AI 的目标 ≠ 人类的真实意图
   即使 AI 正确理解了指令，也可能以有害的方式执行

2. 能力风险
   AI 变得比人类更聪明时的控制问题
   如何确保超级智能仍然服从人类？

3. 武器化
   AI 被用于网络攻击、自主武器、大规模监控

4. 社会冲击
   大规模失业、不平等加剧、认知退化

AI 对齐的研究方向

可扩展监督（Scalable Oversight）：
  当 AI 能力超过人类评估者时，如何确保安全？
  → AI 辅助人类评估 AI

机械可解释性（Mechanistic Interpretability）：
  理解模型内部的「思维过程」
  → 打开黑箱，发现潜在风险

Constitutional AI（Anthropic）：
  用一组「宪法」原则让 AI 自我约束
  → AI 用原则评估自己的输出

可纠正性（Corrigibility）：
  确保 AI 系统可以被人类修改和关闭
  → 即使 AI 更聪明，也愿意接受人类指令

AI 伦理与监管

关键伦理问题

问题	说明
偏见与公平	训练数据中的偏见被模型放大
隐私	AI 训练和使用中的数据隐私
透明度	模型决策的可解释性
责任归属	AI 出错时谁负责？
知识产权	AI 生成物的版权归属
深度伪造	虚假内容的生成和传播
环境影响	训练大型模型的碳排放

全球监管趋势

2023中国发布《生成式人工智能服务管理暂行办法》，全球首部针对生成式 AI 的专门法规

2023.10拜登签署 AI 行政令，要求大型模型进行安全评估

2024.3欧盟通过 AI 法案——全球首部全面的 AI 法律框架

2024AI 安全峰会（英国布莱切利园），28 国签署 AI 安全宣言

2025各国加速 AI 监管立法，全球形成「透明、安全、可控」共识

欧盟 AI 法案（2024）：
  基于风险分级的监管框架
  ├── 不可接受风险：禁止（如社会评分系统）
  ├── 高风险：严格监管（如医疗 AI）
  ├── 有限风险：透明度要求（如 ChatGPT）
  └── 最小风险：自由使用

美国：
  行政令指导 + 行业自律
  没有统一联邦立法

中国：
  《生成式人工智能服务管理暂行办法》（2023）
  算法备案制度
  内容安全要求

共同趋势：
  透明度要求、安全评估、内容标识、数据治理

AI 与人类的关系

工具？伙伴？替代者？

三种视角：

工具论：
  AI 是人类的高级工具
  → 人类始终掌控
  → AI 增强人类能力

伙伴论：
  AI 是人类的协作伙伴
  → 人类和 AI 各有所长
  → 优势互补

替代论：
  AI 最终将替代大部分人类工作
  → 需要重新定义人类的价值
  → 普遍基本收入等社会变革

保持人类的价值

在 AI 越来越强大的时代，人类的价值在哪里？

可能的方向：
  ├── 创造力：AI 擅长组合，人类擅长突破
  ├── 情感连接：同理心、关爱、社区
  ├── 判断力：价值观、伦理决策
  ├── 适应性：在全新情境中的应对
  └── 意义赋予：定义什么是有价值的

课程结语

从 1950 年图灵的一篇论文到 2025 年的推理模型和 AI Agent，人工智能走过了 75 年的历程。这条路上有两次寒冬、多次范式转变、无数个人的坚持与创新。

回顾整个历程，几个反复出现的主题值得铭记：

1. 数据、算法、算力三者的协同进步是 AI 突破的基础
2. 过度乐观和过度悲观都曾导致错误的判断
3. 基础研究的坚持（如 Hinton 对神经网络的 30 年坚守）终将获得回报
4. 技术进步带来机遇的同时也带来挑战，安全和对齐至关重要
5. AI 的发展速度往往超出预期，我们需要提前思考和准备

七十五年来，无数人在这条路上贡献了智慧。有人因为坚持而等到黎明（Hinton），有人因为忧虑而选择离开（Dario Amodei），有人在泄密中点燃了革命（LLaMA 泄露者），有人在挫折中发现了惊喜（DeepSeek 的纯 RL 发现）。他们的故事告诉我们：技术的未来不是被预言出来的，而是被一个又一个选择创造出来的。

未来如何发展，取决于我们每一个人的选择。

本节小结

概念	要点
AGI	通用人工智能，时间表不确定，巨头观点分歧巨大
可能路径	规模化、架构创新、世界模型、具身智能等
AI 安全	对齐、控制、武器化、社会冲击——Hinton 等先驱发出警告
伦理与监管	偏见、隐私、责任归属、全球监管趋势
人类价值	创造力、情感、判断力、适应性

思考题

你认为 AGI 会在什么时候到来？当前的大语言模型路线能通向 AGI 吗？
Geoffrey Hinton 对 AI 的安全深感忧虑，但 AI 的发展并未因此减速。你认为这反映了人性的什么特点？
回顾整个 AI 发展史，最让你惊讶的是什么？最让你担忧的又是什么？

引言 ​

AGI 讨论 ​

什么是 AGI？ ​

AGI 何时到来？——巨头们的分歧 ​

通向 AGI 的可能路径 ​

AI 安全 ​

Hinton 的警告 ​

核心安全问题 ​

AI 对齐的研究方向 ​

AI 伦理与监管 ​

关键伦理问题 ​

全球监管趋势 ​

AI 与人类的关系 ​

工具？伙伴？替代者？ ​

保持人类的价值 ​

课程结语 ​

本节小结 ​

思考题 ​

引言