为什么 AI 是不可回避的
终点可以是好的。我们选择的道路决定谁能到达。
📚 教学辅助
人类并不只通过生物进化而改变。我们也通过自己构建的工具而改变。
火延长了白昼。农业让人类不必不断采集觅食。印刷术传播了知识。蒸汽机放大了肌肉力量。计算机放大了计算能力。
这些技术没有一种始终是可选项。掌握它们的社会获得了力量和繁荣；抵制它们的社会，常常被没有抵制它们的社会超越。
AI 是这个循环的下一次转折，也可能是最重要的一次。早期工具增强身体或自动执行常规计算。AI 增强的是认知本身：我们推理、整合信息、创造和决策的能力。
这让 AI 既强大又危险。公众意见已经分裂为两派：一派害怕 AI，另一派把它视为通往繁荣的道路。
这些恐惧是真实的，也值得严肃回答。但它们不是停滞不前的理由。
道路，而不是终点
历史学家 Yuval Noah Harari 提供了本章的核心思想。
强大新工具带来的问题，很少只在于它通向哪里。走向未来的道路同样重要。
工业革命最终创造的繁荣，远远超过了它所取代的农业经济。今天，即使是普通劳动者，也比 200 年前的祖先生活得更好。但通往这一结果的道路非常残酷。新机器出现时，没有人知道如何建设工业社会。早期工业强国犯下了巨大错误，随后又用一个世纪征服和剥削工业化较晚的国家。
AI 可能重演这一模式。它可能扩大一国内部的不平等，并在国家之间制造更严重的不平等。
Harari 警告，少数国家可能控制 AI。那可能让「California 或 Shenzhen 拥有财富，而其他任何地方几乎没有工作」。
因此，关键问题并不是 AI 能否通向一个好的终点。它可以。关键在于我们能否修建一条惠及所有人的道路，而不是只惠及少数国家的少数人。
Harari 用 Shenzhen 作为中国科技财富的象征。这个象征是成立的，但地理需要更加精确。
Shenzhen 是中国的硬件之都，拥有 Huawei、Tencent、DJI 和庞大的制造供应链。
中国的 AI 之都是 Beijing。那里有 Zhongguancun、Tsinghua 和 Peking University、Beijing Academy of AI，以及 Baidu、Zhipu AI、Moonshot 等实验室。
拥有 DeepSeek 和 Alibaba Qwen 团队的 Hangzhou，正在成为第二大中心。
芯片在 Shenzhen 组装。前沿模型则主要在 Beijing 和 Hangzhou 构建。
工业革命证明，终点可以是好的，而道路可能残酷。通往 AI 未来的道路仍在建设，并且已经出现分叉。
请以此理解下面 9 条反对意见。每一条都指出了一种真实危险。没有一条要求我们放弃旅程。每一条都要求我们有意识地修建道路。
九条反对意见
这些担忧并不是边缘观点。它们出现在董事会、立法听证会、研究实验室和公共辩论中。
怀疑者的主张可以浓缩为一句话：风险显而易见，却没有人解释清楚收益。
-
大规模失业。 AI 可能消除数百万个岗位，从入门级工作开始，随后扩展到法律、会计、内容创作和其他专业领域。冲击可能在劳动者获得适应所需的时间或支持之前到来。
-
普通人看不到明确收益。 业界说 AI 将「改变一切」，却常常没有说明日常生活会如何改善。恐惧很具体，消费者收益却显得模糊。
-
监控与威权控制。 AI 为政府和公司提供了强大的人脸识别、行为预测和自动审查工具。如果使用不受限制，这些工具会把生产力系统变成控制系统。
-
地缘政治军备竞赛。 如果只有少数国家输出 AI 智能，其他国家可能在基本服务、国防、医疗、教育和经济规划上依赖外国模型。
-
现实被侵蚀。 AI 生成的文字、图像和视频，会让真相更难与虚构区分。错误信息是一个问题，更深层的恐惧则是失去对能力日益强大的系统的控制。
-
存在性风险。 Stuart Russell、Yoshua Bengio 和 Geoffrey Hinton 等严肃研究者警告，高能力系统可能追求与人类价值冲突的目标。足够强大而又未对齐的系统，可能造成不可逆的伤害。
-
环境成本。 训练和运行前沿系统需要大量电力和水。批评者担心，AI 可能在其收益得到证明之前加剧气候和能源危机。
-
大规模偏见与歧视。 AI 会学习历史数据中的偏见，再迅速而广泛地应用它们。招聘、贷款和医疗领域已经出现有记录的失败。
-
前所未有的财富集中。 训练前沿模型需要数十亿美元和数万块昂贵 GPU。目前只有少数美国和中国机构能够在这个层级竞争，结果可能是财富与权力的高度集中。
为什么这些都不是停止的理由
每一种恐惧都成立，但没有一种是退出的理由。答案是用更好的规则、更好的激励、可靠的工程和更广泛的可及性来构建 AI。
本章地图：9 种危险，以及 9 种穿越这些危险的构建方式。
1. 大规模失业：工作会改变，服务能力会扩大
AI 并不把一份工作当作不可分割的整体，而是把工作拆成任务。
有些任务会被自动执行，另一些则会组合成新角色。开发者并不会简单消失，而是能够产出更多。
SaaS 时代创造了很少有人预见的岗位，包括云架构师、增长黑客、DevOps 工程师和 UX 研究员。AI 时代也已在创造 agent 设计师、结果架构师、验证专家，以及教机器理解何为「正确」的领域专家等角色。
LinkedIn 2024 年的数据显示，要求 AI 技能的招聘信息增长速度是整体就业市场的 3.5 倍。这一增长并不限于科技行业，也出现在医疗、物流、教育和金融领域。
还有一个更大的机会。
过去，新工具改善的是服务成本，帮助一名专业人士以更低成本提供同样的服务。
AI 还可以改善服务能力，帮助一名专业人士服务过去根本得不到服务的人群。
80 亿人需要医疗、教育、法律咨询和财务规划，但专业人士从来不足以服务所有人。
印度农村的 AI 工具正在为从未有过眼科医生的村庄筛查糖尿病视网膜病变。Khan Academy 的 AI 导师 Khanmigo，则在可能有 60 名学生的教室里，为学习者提供接近一对一的教学。
AI 不必取代医生或教师。它可以帮助每个村庄获得医生或教师的服务。
早期技术主要降低成本。AI 还可以把服务扩展到过去从未得到服务的人群。
AI 仍会给常规工作带来压力。只会读取标准影像的放射科医生可能感受到这种压力；把临床判断与 AI 辅助模式识别结合起来的放射科医生会更有价值。
分界线并不是蓝领与白领，而是停止学习的人与继续成长的人。
最大的个人风险，并不只是 AI 可能改变你的工作，而是拒绝学习正在改变这份工作的工具。
2. 普通人看不到明确收益：让红利可见
这在一定程度上是沟通失败。收益确实存在，但行业经常没有把它们讲清楚。
先从普通生活说起。
- Ohio 的一位单亲母亲使用 AI 助手起草租约纠纷信，否则律师可能会收取 $400。
- Karachi 的一位店主使用 AI 翻译，直接与中国供应商谈判，不需要中间商，也没有加价。
- 墨西哥乡村的一名学生使用 AI 导师准备大学入学考试，因为附近没有备考中心。
收益也出现在更大的系统中。
Duolingo 报告称，AI 帮助它以过去一小部分成本制作新课程内容。AI 辅助药物发现把某些早期流程从数年缩短到数月。Insilico Medicine 在不到 30 个月内将一个候选药物从靶点发现推进到 I 期临床，而传统流程需要 4 到 6 年。
Waymo 和 Nuro 报告的物流试点显示，最后一公里配送成本可能降低 40% 或更多。AI 模型还在改进乳腺癌、肺结节和心脏风险筛查。
问题不是 AI 没有产生收益，而是行业多年来向投资者兜售 AGI 炒作，却没有向公民解释实际价值。
修正方式是衡量人们能够看到的结果：
- 得到诊断的患者，
- 获得辅导的学生，
- 变得负担得起的服务，
- 节省的时间，
- 以及经过验证的结果。
当 AI 围绕清晰规范、持续检查和可衡量结果构建时，消费者红利就不再是承诺，而会成为一张收据。
3. 监控与控制：建立对权力的制衡
这条反对意见很严肃，因为滥用并非假设。
风险已经出现，包括中国的社会信用实验、美国和英国警方滥用人脸识别，以及 Pegasus 间谍软件丑闻。
答案不是停止构建，而是在可执行的限制下构建。
San Francisco 等城市已经禁止或限制执法部门使用实时人脸识别。欧盟 AI Act 将许多监控用途归为高风险，并要求透明度与审计。
这些框架仍很年轻。纸面规则并不能保证执行，但不完善的监管仍然好过完全没有框架。
技术设计也很重要。开源模型、去中心化基础设施、联邦学习和差分隐私，可以减少集中数据与权力的需要。它们不能保证杜绝滥用，但可以改变力量平衡。
每一种强大工具都可能被武器化。印刷术既推动民主，也传播宣传；加密既保护隐私，也保护犯罪者。
长久以来，答案从来不是简单禁止，而是对权力建立制衡：法律、透明度、技术防护、独立审查和民主监督。
4. 地缘政治军备竞赛：建设主权，而不是依赖
10 年内，各国可能分为 3 类：
- 输出 AI 智能的国家，
- 保有自身 AI 能力的伙伴，
- 以及在关键工作上依赖外国系统的依附国家。
这正是退缩很危险的原因。
如果自由社会暂停，而责任更弱的参与者继续前进，前沿不会消失，只会转移到安全承诺更少、公众监督更弱的群体手中。
这不只是超级大国的问题。包括 Pakistan、Brazil 和 Nigeria 在内的 Global South 国家都面临一个基本选择：构建本土能力，还是成为别人智能的永久消费者。
主权 AI 意味着理解本地语言、服务本地产业并在本地规则下运行的模型与系统。
开源基础让这件事更可实现。Lahore 或 Lagos 的大学如今可以根据本地需求调整前沿级模型，而这在几年前还难以想象。
真正的竞赛，并不只存在于构建 AI 与不构建 AI 的国家之间，而存在于培养人才和强大系统的国家，与任由两者流失的国家之间。
5. 现实被侵蚀：用 AI 验证 AI
共同现实的丧失是一种真正的危险，但最好把它理解为验证问题。
印刷术也曾通过小册子、宣传和阴谋论文本传播错误信息。社会的应对方式，是建设新闻业、同行评审、科学方法和诽谤法。
AI 生成媒体需要更快地建立同类制度响应。
AI 是问题的一部分，也是解决方案的一部分。生成合成媒体的系统，也能帮助检测它。AI 可以识别被篡改的图像、标记可疑财务文件，并以任何人类团队都无法匹敌的规模检测欺诈。
可信 AI 需要与任何可靠系统相同的基本控制：
- 清晰的规范，
- 发布前的检查，
- 可追溯的证据，
- 以及在高风险情况下由人类作出判断。
对不可靠 AI 的答案不是更少设计，而是更好的设计，让人类进行监督，而不只是操作系统。
6. 存在性风险：加速安全，而不是鲁莽
这是最值得谨慎对待的反对意见。
对齐问题真实存在，也尚未解决。我们还不知道如何保证能力日益强大的系统会继续追求与人类福祉相容的目标。
鲁莽的构建者会轻视这一担忧，严肃的构建者则会把它作为核心设计问题。
然而，全球暂停很难执行。AI 开发分布在政府、公司、大学、开源社群和独立研究者之间。重视安全的群体暂停，并不一定能阻止前沿发展，反而可能把前沿转移给透明度更低、防护更少的参与者。
更好的回应，是进行正确类型的加速：在开发更强模型的同时，对齐、模型理解、评估和控制方面投入更多工作。
Anthropic、DeepMind 和大学研究者正在研究这一问题。他们研究模型行为、以更清晰方式表达人类价值，以及让更强系统保持受控的方法。
这项工作还处于早期，远远不够。但只有从内部理解前沿系统的人，才能完成它。
人类还管理过其他危险工具，包括核系统、工程化病原体，以及影响气候的工业系统。记录并不完美，但模式很清楚：治理需要专业知识。远离危险工具的社会，会失去治理它所需的知识。
存在性风险不是忽视 AI 的理由，而是确保最有能力的构建者也坚定致力于安全、透明度和公众问责的理由。
7. 环境成本：修复能源系统
AI 使用大量能源和水，这一成本不应被轻描淡写。
Goldman Sachs 估计，到 2030 年，数据中心用电需求可能增长 160%。这是一个严肃的技术与政策挑战。
背景仍然重要。包括 AI、云计算、流媒体和电子商务在内的全球数据中心行业，目前约占全球用电量的 1% 到 2%。仅住宅空调用电，就超过所有数据中心的总和。时尚行业也产生了全球碳排放的重要部分。
我们的应对不是禁止服装、制冷或数字服务，而是改进它们的生产方式。
AI 行业已经在投资可再生能源和下一代核能。专家混合、蒸馏和量化等模型技术，可以减少达到一定性能所需的计算量。新硬件也能以每瓦电力提供更多计算。
AI 还能帮助减少环境破坏。DeepMind 的冷却系统将 Google 数据中心的冷却能耗降低了 40%。AI 支持电网管理、精准农业、气候建模、电池研究、太阳能材料和碳捕集优化。
正确的问题不是 AI 是否使用能源。每个人类系统都使用能源。问题是我们能否让收益证明成本合理，并让 AI 背后的能源系统转向清洁能源。
暂停 AI 无法解决能源危机。在更清洁的能源系统上构建 AI，可以帮助同时解决这两个问题。
8. 偏见与歧视：让偏见可见、可审计
AI 系统已经复现了训练数据中的有害模式。
Amazon 在发现内部招聘工具会降低女性简历评分后，废弃了该工具。一个广泛使用的医疗算法，因为把医疗支出当作医疗需求的代理变量，而向黑人患者分配了更少资源；而这些支出本身就反映了医疗服务获取上的不平等。
这些是结构性失败，需要结构性回应。
重要的是，底层偏见并非始于 AI。人类招聘、贷款和医疗系统本来就存在偏见。人类决策通常很难观察、重复或审计。
AI 决策可以被记录和衡量，这让纠正成为可能，尽管绝不会自动发生。
高风险系统应当跨人口群体测试，训练数据应当记录，决策应当接受独立审查，监管者还应能够要求提供性能与公平性的证据。
欧盟 AI Act、Algorithmic Justice League 和 NIST AI Risk Management Framework 都指向这种问责方式。
如果不加约束，AI 可以比任何人类机构更快地扩大歧视。答案不是假装问题会自行消失，而是要求审计、影响评估、透明文档和纠正循环。
目标不是让 AI 系统与人类一样有偏见，而是让它的偏见可衡量地更少，并在每次审计中改善。
9. 财富集中：让构建能力民主化
集中问题真实存在。
前沿训练运行需要数十亿美元。实验室需要数万块高端 GPU，每块约需 $25000 到 $40000。建设所需系统要花费数百亿美元。
这让少数公司拥有了巨大权力。2026 年 2 月，Anthropic 的 $3800 亿估值超过印度 5 大 IT 服务公司的市值总和。这些公司用了 40 年发展起来，并雇用了数百万人。
因此，默认道路可能在创造富足的同时，把大部分价值集中在 California 和 Beijing。
Anthropic CEO Dario Amodei 警告，如果收益仍集中在顶层，AI 可能创造万亿富豪，并激起严重的公众反弹。他主张，应当把 AI 视为文明挑战，而不只是商业机会。他还呼吁制定适应巨量财富创造时代的新税收规则。
他的警告重新定义了问题。问题并不是 AI 是否创造价值；它确实创造价值。问题是政府和市场能否足够广泛地分配价值，从而维持公众信任与社会稳定。
答案不是限制所有进步，而是让谁能构建与谁能受益民主化。这需要：
- 开放权重模型，
- 可获得的工具，
- 公共 AI 素养，
- 主权算力，
- 累进政策，
- 以及对实用 AI 系统更广泛的所有权。
Lahore 或 Lagos 的大学已经可以为本地需求调整强大的开放模型。欧盟、India 和 Gulf states 的主权 AI 项目，旨在减少对少数外国提供商的依赖。
早期科技革命最终更广泛地分配了收益。由于 AI 的进入成本异常高，这不会自动发生。它必须从设计上实现民主化。
底线
这些恐惧是合理的，每一种都值得严肃对待。
但每一种恐惧，也是要求我们把 AI 构建得更好的论据，而不是把这个领域拱手让给别人。
本书把自己的框架称为 Agent Factory。它是一个规范驱动、由人类监督的过程。规范定义意图，验证循环捕捉错误，人类保留对高风险决策的权力，经济模型奖励结果而不是不透明。
我们不是在安全与进步之间做选择。我们是在选择：随着 AI 继续发展，由我们塑造它，还是让别人替我们塑造它。
Karachi 的店主需要实用工具，墨西哥乡村的学生需要导师，没有医生的村庄里的患者需要医疗服务。他们不需要关于 AI 是否应该存在的抽象争论，而需要真正为他们工作的系统。
AI 是不可回避的。剩下唯一的决定，是我们如何构建它。