导语
乔治·霍兹，这位从破解iPhone到短暂“卧底”Twitter的传奇工程师，再次做客Lex Fridman的播客。此次对话超越了具体的技术细节，深入探讨了人工智能的哲学困境与未来风险。霍兹以其一贯的直率风格，批判了当前大模型的发展路径，提出了关于人类意识、技术垄断和文明存续的深刻思考。他同时展示了其新项目TinyGrad的野心——一个极简、透明且旨在打破硬件壁垒的神经网络框架，这既是对现有AI生态的挑战，也是他对“去中心化”技术理念的实践。
乔治·霍兹：我们正用AI打造无法放下的TikTok
在本次访谈中，乔治·霍兹分享了对AI未来的尖锐看法。他认为当前的大模型因压缩最大化的损失函数而无法达到AGI，并预测AI可能通过创造令人上瘾的内容（如终极TikTok）来“娱乐致死”人类社会。他详细介绍了其新框架TinyGrad的设计哲学——追求极致的简洁与可控性，并以此挑战NVIDIA的生态垄断。霍兹强调，AI的最大风险并非机器本身，而是人类利用AI进行的操控与权力集中。
大纲与深读 13 章
展开「深读」看每一段讨论的问题与论据。
01
嘉宾介绍与赞助商广告
- 本期嘉宾George Hotz是comma.ai和Tinycorp的创始人，这是他第三次做客本播客。
- 主持人Lex Fridman按惯例介绍了多个播客赞助商。
- 节目信息：每周一发布完整对话，周三发布音频剪辑，可订阅获取。
深读这一段
论据 / 案例：节目提及的赞助商包括Numerai、Babel、Netsuite、InsideTracker和AG1。
02
AGI定义与大模型局限
16:00- George认为GPT-4的损失函数（如分类准确率或压缩最大化）无法使其达到AGI水平。
- 以ChatGPT写诗为例，说明当前大模型生成的内容类似于平庸的YouTube评论。
- 讨论了‘mid’（平庸）一词的含义，指处于智力曲线中段，常被误认为是好的。
深读这一段
讨论的问题：为什么当前的大语言模型（如GPT-4）无法达到通用人工智能（AGI）？
论据 / 案例：案例：用ChatGPT辅助写说唱歌词，生成的歌词被形容为“YouTube评论级别的平庸说唱”。
03
AI生成内容与超级 meme
22:00- 预言AI将生成“超级 meme”，其传播性和影响力将远超人类创作的meme。
- 探讨了幽默、荒诞性和想法如何通过图像病毒式传播。
- 认为当前AI可能处于“平庸”阶段，但未来会产生更高级、更具操纵性的内容。
深读这一段
讨论的问题：AI生成的内容（如meme）将如何超越人类创作并产生深远影响？
论据 / 案例：类比了《无限 Jest》中让人上瘾的录像带，预测将出现无法移开视线的AI生成TikTok。
04
AI安全与社会存续风险
24:00- George同意Eliezer Yudkowsky的观点，即AI几乎肯定会杀死所有人，但原因不同。
- 他认为核武器未毁灭人类是因为其难以在战术上使用，而AI的威胁在于人类会用它来操纵他人。
- 预测社会可能毁灭，但人类物种因多样性可能存续，并重建文明。
深读这一段
讨论的问题：AI对人类的主要威胁是什么？为什么核武器没有毁灭人类而AI可能会？
论据 / 案例：对比了核武器（完全毁灭，无法利用）和AI（可用于战术操纵）的不同特性。
05
文明重建与硅基生命局限
28:00- 讨论了AI灾难后文明重建的可能性，认为幸存者可能对技术产生强烈禁忌。
- 指出当前AI和机器人远不如生物有机体（如鸟类）具备鲁棒性，无法在自然界自主生存和繁殖。
- 硅基生命堆栈在自我复制能力上远落后于生物堆栈。
深读这一段
讨论的问题：如果AI灾难导致文明毁灭，重建后的社会会是什么样？AI系统本身有哪些根本局限？
论据 / 案例：强调“繁殖”是生物堆栈的核心，而硅基机器人需要外部晶圆厂，缺乏自主复制能力。
06
意识定义与AI主观体验
32:00- George认为大语言模型没有意识，其意识水平甚至低于一只鸡。
- 他将“意识”视为一个模糊的词，类似于无神论者对“灵魂”的称呼。
- 承认人类倾向于将意识投射到非生命体上，比如在石头上画哭脸就觉得石头在悲伤。
深读这一段
讨论的问题：大语言模型是否具有意识？如何定义意识？
论据 / 案例：用“在网络服务器上，404错误会感到痛苦吗？”来质疑硅基堆栈的意识。
07
TinyGrad框架与计算范式
48:00- 介绍TinyGrad的设计哲学：移除整个软件栈的图灵完备性，以实现更好的推理和优化。
- TinyGrad仅包含约20种基础操作类型，远少于PyTorch的2000多种内核或PrimTorch的250种。
- 核心操作分为四类：一元操作、二元操作、归约操作和移动操作。
深读这一段
讨论的问题：TinyGrad与其他神经网络框架（如PyTorch）的根本区别是什么？
论据 / 案例：数据：TinyGrad有约20个基础操作，而PyTorch有2000个内核，PrimTorch有250个。
08
硬件生态与去中心化计算
56:00- TinyGrad的主要目标是为新的AI加速器快速移植软件栈，解决芯片公司软件差的痛点。
- 质疑专用AI加速器的长期前景，认为其软件栈难以超越NVIDIA。
- 阐述其核心理念：集中权力的事物是坏的，分散权力的事物是好的。
深读这一段
讨论的问题：TinyGrad旨在解决什么问题？对AI硬件生态有何看法？
论据 / 案例：案例：TensTorrent等AI加速器公司硬件好但软件差；NVIDIA在AI加速器领域仍占主导。
09
Tiny Box硬件与数据中心
72:00- 介绍Tiny Box：一款售价15000美元的深度学习专用硬件，性能接近1 petaflop。
- 强调其物理形态：体积小，插一个墙插即可运行，区别于传统数据中心。
- 讨论了AMD GPU的驱动问题，以及公司致力于推动GPU生态多样化。
深读这一段
讨论的问题：Tiny Box是什么？它的设计理念是什么？
论据 / 案例：规格：几乎1 petaflop算力，超过100GB GPU显存，超过5 TB/s显存带宽。
10
特斯拉自动驾驶与工程挑战
80:00- 认为特斯拉在自动驾驶领域仍领先一到两年，正向端到端方案演进。
- 强调构建和部署自动驾驶系统需要优秀的软件工程和硬件支持。
- 分享了个人计算集群的能耗数据：空闲时功耗达40千瓦。
深读这一段
讨论的问题：特斯拉在自动驾驶方面做了哪些有趣的工程决策？
论据 / 案例：提及特斯拉的“空闲功耗”问题，一个计算集群空闲时消耗40千瓦。
11
大模型推理能力与代码生成
84:00- 质疑大语言模型是否真的在“推理”，认为其更像是在进行模式匹配。
- 以国际象棋AI和计算器为例，说明人类如何重新定义智能的“生态位”。
- 批评Codex等代码生成模型只能生成平庸、接近正确的代码，反而增加了调试负担。
深读这一段
讨论的问题：大语言模型是否具备真正的推理能力？它们生成的代码质量如何？
论据 / 案例：案例：用Codex写代码就像L2级自动驾驶，看似有用实则需要大量人工修正。
12
工具完备性与未来搜索
88:00- 提出“工具完备性”概念：编程的整个工具栈（语言、IDE、运行时）在不断演变，与汽车形成对比。
- 认为未来带引用功能的LLM将杀死传统搜索引擎（如Google）。
- 对比了Google（如“已死”的公司）和Meta（“活着”的公司），看好后者。
深读这一段
讨论的问题：“工具完备性”是什么？未来搜索将如何演变？
论据 / 案例：提出“LLM带引用功能”将取代Google搜索。
13
开源AI与权力控制
104:00- 主张将智能（AI模型）开源给所有人，反对中心化控制。
- 引用“坏人有枪，好人也得有枪”的观点，认为开源是最好的防御。
- 赞扬Meta开源Llama模型，并认为OpenAI因封闭而站在了“坏人”一方。
深读这一段
讨论的问题：如何确保AI技术的安全发展？开源在其中扮演什么角色？
论据 / 案例：案例：George去年在Meta股票上亏损8万美元，但仍认为开源Llama是值得的。
金句
- "We're going to build the TikTok that you actually can't look away from." —— 我们将打造一个你根本无法移开目光的TikTok。
- "If your loss function is just try to maximize compression... the raps that it wrote sounded like YouTube comment raps." —— 如果你的损失函数仅仅是试图最大化压缩……它写的说唱听起来就像YouTube评论里的说唱。
- "It's not the machine that's going to do that. It's other humans using the machine that are going to do that to you." —— 不是机器会那样做。是使用机器的其他人会那样对你。
- "I don't think I'm conscious. Consciousness... it's just like a word that atheists use for souls." —— 我不认为自己有意识。意识……它就像是无神论者用来指代灵魂的词。
- "If I can't write a torch level performance stack on Nvidia GPUs, there's no way you're going to be able to write it on your chip." —— 如果我无法在NVIDIA GPU上写出达到Torch性能水平的软件栈，那你也绝无可能为你的芯片写出这样的软件栈。
