OpenAI Infra工程师访谈：从Elon Musk的X到OpenAI的职业与AI行业观察

OpenAI Infra工程师访谈：从Elon Musk的X到OpenAI的职业与AI行业观察

核心结论：一位在X（Twitter）完整经历Elon Musk接手后“从0重建”过程的资深工程师（赵迪），最终离开X加入OpenAI；他既清醒地称Musk为“最混蛋的人”，又承认其作为“梦想家”所独有的从0到1能力；基于此经历，他系统阐述了对工程文化、模型serving技术（Navi项目）、AI平权愿景、工程师未来角色与AGI路径的判断。

人物背景与职业路径

自我介绍

• 自我定位：赵迪自称“就是个engineer”，强调自己是“做事的人”，而非管人或定方向的人，眼中没有太多层级或高低贵贱之分。
• 当前任职：OpenAI，职位为Member of Technical Staff，负责Infra相关工作（data Infra、ML Infra）。
• 工作感受：进入OpenAI最初几个月有兴奋感，之后经历“祛魅”过程，发现每个公司成功都有自己秘密——关键在于“总有一帮很踏踏实实的、很疯狂的、带有一点理想主义的做事人”。

25年职业履历（2001年至今）

赵迪自述了完整的职业轨迹，每一站都踩在当时科技浪潮的风口浪尖：

职业选择的底层逻辑

• 不认为自己在刻意“踩浪尖” ：他用比喻形容这是“球落在叶子上”的偶然过程，事后看似乎总落在风口上，但当时更多凭兴趣选择。
• 自我认知的演变：年轻时在“想当manager”和“想当IC”之间摇摆，跳来跳去；年纪渐长后领悟到——了解自己是什么样的人，选择一条路踏踏实实做下去，不被外界噪音干扰，是最佳状态。
• 兴趣所在：他花了很长时间才意识到自己喜欢engineering类工作，尤其是解决efficiency问题，因此最终走向Infra——这是他的兴趣所在。
• 探索过程的必要性：“如果你没有经历过一个探索过程，你怎么知道自己适合什么？”但他指出“比较强的人”能很快converge，举例Elon Musk从3岁起就决定做火箭，现在还在做火箭。
• 方向与机会的“双向奔赴” ：他认为自己朝最感兴趣的方向走，同时很幸运的是，最感兴趣的方向也正好是前沿方向。

职业成长最大的阶段

• 冲击和成长最大的一段是Twitter/X时期：完整经历了“old Twitter”（典型湾区大厂风格，类似小Google）到“Elon Musk一巴掌打倒，然后从0开始build up”的整个过程，“对身心都摧残很大”，甚至对世界观有所改变。
• Old Twitter文化：做任何事情都要build consensus、写document、事无巨细考虑周全再做plan（一来就几个月），一群聪明人“互相制衡”，最后变成slow moving的公司。
• Musk接手后：“不需要这么多人”。他举例George（第一个hack iPhone的人），内部认为100个engineer就够了，但当时公司有2000~3000多人——到现状X做事的工程师确实大约只有100人。

在Elon Musk的X（Twitter）工作经历

对Elon Musk性格与风格的观察

核心人格特征

• First principle（第一性原理）驱动：Musk做事都从第一性原理出发，只解决事情的本质，其他“边边角角”一概不管。
• 没有情感成分：“他做任何事情没有任何情感的成分在里面...是一个高效运转的机器，在工作当中非常ruthless。”
• 活在自己的世界里：“基本上他活在自己的世界里面，我没有看到第二个比他更Alpha的人。”
• 关于Asperger（阿斯伯格）症状：赵迪在访谈中表示“马斯克还是挺明显的阿斯伯格症状的”，能留下来共事的人往往是“差不多一类人”——要么是被社会捶打过的人，要么是真正有梦想的人。
• EQ类似小孩，但有人保护：他形容Musk像个“中间的大小孩”，EQ大概只有小孩水平，但身边有一群人把他保护起来——有人保护他的性格，让他的话被更现实地执行；也有人借此做投机的事。

情商与沟通风格

• 对不感兴趣或不关键的问题会立即失去耐心、表现出烦躁，即使在做深度播客时也一样；会直接说“你说的这些话我不感兴趣”，然后跳开。
• 沟通方式是“either you do it or you don't”：如果不做就立即走人（terminate）。
• 但也有feedback机制：只要在他理解范畴内、用他能理解的方式讲清楚，他是能理解的。

管理风格

• 对product engineering要求“简直是crazy”，有时甚至因负气折磨人（“感觉被别人摆了一道，就他妈的折磨你”）。
• 典型做法：提出不可能完成的任务，如“蓝色认证标识两个星期做完”“某个metrics两个星期提升”之类的极端目标。
• “Elon rule”（两条生存法则）：

1. don't say no：不要拒绝他定的目标，要表示愿意去做；
2. 两个星期的rule：先认同目标，能力在线并做出不错的过程成果，实时给他反馈，还要work really hard——即使最终结果与他的期望有差距，他很大程度上也会认可。

• 软硬不吃：拍马屁没用，事情没做完一样被批评。

对员工的态度——冷酷的裁员与“火灾重生”隐喻

• 裁员哲学：Musk认为“不需要这么多人”，执行层面由Steve Davis（Loop的CEO）负责——Steve Davis到哪个地方就预示“大裁员”或“大清洗”。
• 残酷的比喻：赵迪引用红杉/巨杉树的例子——这类树通常需要一场火灾，树叶才能重新生长，“有时候真相还是挺可怕的”。
• 企业文化的影响：Musk对整个硅谷大厂文化是一种“毁灭性的打击”，打破了以往凡事慢速决策、协商共识的风格。

为什么还会有人愿意跟随？（驭下之道）

• 关键是“梦想”的感召力：Musk的梦想本身有巨大吸引力（如Tesla、SpaceX、“我们的目标是TikTok”“去Mars”或“FSD”这类看似不可能的目标），即使他本人作为leader存在种种问题。
• 留下来的人分为几类：
• 真正纯粹想做事情的engineer——不太在意待遇，只想做世界上做不成的事；
• 认同其理想的崇拜者（赵迪自述起初因看Tesla和SpaceX的伟大理想而愿意留下）；
• 投机分子（“哪都有”）。
• 离开的人也有人因其做事方式、或因不认同理想，或“unfortunately他觉得你不重要”。
• “不是好leader？没有绝对的好leader” ：赵迪认为，Musk做了这么多事，肯定是个好leader，“因为他知道自己想要什么，知道能把什么样的人留在自己身边做到这个事情，这就足够了”。

华人工程师为何更愿意留在X？

• 社会受锤经历较多：华人大多经历过社会捶打，较能习惯这种高压风格。如果忍受得了，“你做事的空间很大”。
• 屏蔽负面反馈的能力：只要有能力屏蔽他对你心理的打压并做成事，上升空间就很大。
• 有些人本身也“有点Asperger” ：这些事情对他们来说不算什么。
• 真正的focus：如果对事情本身非常专注和想要，“后面的东西就自然而然过去了”。

对“混蛋”的清醒认知与矛盾敬佩

• 一句话评价：“我认清了他是一个 the biggest asshole”——赵迪说现在做播客就是想为当时被马斯克裁掉的约3000名工程师正名：“其实大家都非常capable，大家也都做出了很多的贡献。”
• Musk自己知道吗？：“他无所谓...他自己大概也知道自己。”（访谈中Musk的原话：“some people do loathe you... I don't care.”）
• 斯坦福教授的类比：赵迪在斯坦福进修时，有教授当众说Steve Jobs是他见过最伟大的企业家但也是最混蛋的人——“这句话放在Elon Musk身上一样适用”。
• 小事的羞辱：省了几个million的Infra成本后问能否买个披萨庆祝，Musk回复“你自己pay for a pizza”；免费午餐改为自己花5块钱付费等——目的在灌输ultra focus on做事和auto engineering文化（受Tesla/SpaceX硬件低利润空间影响）。
• 钦佩的来源：认清现实基础上仍然敬佩：“他能够让你真正做到不可能的事情，不管他是拿鞭子赶还是怎么着，他最后做成了。”

为什么离开X选择OpenAI

• 学习曲线扁平化：搜索/广告/推荐（搜广推）已做了很多年，行业整体找不到方向（湾区公司每年只求engagement或类似指标bump 0.5~1个百分点），再做下去提升有限。
• Peter Thiel的判断有道理：引用Peter Thiel的话，批评当时硅谷用大量聪明人拿高薪只为了让一个帖子的某个指标微涨。
• 对Musk做成TikTok的幻想：“还是对Elon Musk有点幻想，觉得说不定他真能把X做成TikTok。但后来发现，再那什么的人，某些东西也做不到”——不是说技术做不到，而是“这个trend已经过了”（TikTok/Reels等已占据所有人的时间）。
• 时间差：ChatGPT 2022年11月发布（GPT-3.5），赵迪2025年3月才加入OpenAI——“花了两年时间去思考”。

Navi项目：一个inference engine的从0到1

背景：为什么需要Navi（核心动机）

• 在Twitter/X的系统里，推荐与广告（搜广推）都要用神经网络模型做推理（inference / serving）。
• 当一个用户请求（request）到来，系统需要同时scoring几千到几万个甚至几百万个候选（如tweets），计算成本非常高，“加几百倍几千倍”。
• 核心要解决的问题：cost（成本）、stability（稳定性）、latency（延迟）——与今天LLM inference所面临的问题本质相同。

技术实现路径（从小玩具到全站统一）

• 赵迪一开始对Crypto/Rust感兴趣，为Solana写过contract，觉得Rust不错，出于兴趣用Rust写了一个“toy inference engine”，发现执行效率比当时外部或内部原有方案有一个数量级的提升。
• 然后花了几个月落地到生产环境，先在Ads领域上线；Musk接手后，在X内部由Ads推广到recommendation，最终统一所有推理。
• 为什么他有时间做这件事：在Musk收购之前（前几个月到半年），Twitter本身就面临cost飙升的严重问题，所以这项工作是公司急需的。
• Musk的反应：知道Navi的价值非常重要，基本上没有苛刻做这一块——“干得好”，但没给买披萨。

Navi名字的由来（浪漫主义色彩）

• 取自电影《阿凡达》第一集：Navi是那个星球上驾驭鸟类的人，意思是“天空之人”。
• 赵迪提到电影中一人骑鸟、鸟从悬崖俯冲下去再拉上来的镜头“特别的震撼”，感觉“非常free”，一直想用这个名字。
• “这也是我们做Infra的人——不是product manager——唯一一点点浪漫主义的乐趣”。

推荐系统的工作流程（Navi在其中的位置）

所有社交媒体信息流（Twitter/小红书/Facebook）生成推荐的基本流程呈金字塔形逐层减缩：

1. Candidate Generation（候选生成） ：从约每天10亿条tweets中粗选可能喜欢的候选（例如缩小到几百k）；
2. 粗排（lightweight neural network） ：用较轻量的神经网络排序到几十k；
3. 精排/重排（真正的最后ranking） ：从几千个进一步缩小到最终约100个，按score从高到低排序取前N个；
4. Navi的角色：凡是用神经网络做计算（粗排、精排）都需要一个专门的engine把输入数据送入神经网络并得到输出（如ranking score）；Navi就是这样一个inference engine。

降本增效的核心技术点（推荐系统与LLM的共通）

• Batching（批处理） ：把多个request合并为一个batch再做向量计算，提高GPU效率；
• Caching（缓存） ：已计算的结果不重复计算；
• Deserialization/Serialization（序列化/反序列化） ：数据本身的这些处理，在high level看不到，但本身是一个很大的开销问题；
• 上述几个点“大家很多年实践过很多次了”，关键看能否把它“非常efficient地做到”。

LLM时代的serving挑战（并未根本变化）

• 模型serving可分为两部分：

1. 模型计算本身；
2. Routing（路由） ：把用户request以更高效的方式送到计算单元——这正是Navi当年focus的问题。

• 大模型时代仍然通过batching提升GPU效率、用KV cache（类似cache策略）缓存GPU上高开销计算的结果来跳过重复步骤——与推荐系统时代思路相通。
• 在routing层面，新旧系统“有很多相通之处”。

Navi的后续命运（存疑不确定）

• 赵迪离开X时统一了所有Twitter的Ads和recommendation最重要的Infra，都已在使用Navi。
• 离开后是否继续使用“不知道，因为后来会发生变化”。

AI公司与竞争

模型serving vs 训练模型：哪个更重要？

• 两者是不同的且都重要：模型被用得越多，serving越重要。取决于公司目标——如果目标是做最好的开源模型，可能不关心serving；但如果想做“utility company”（向人类提供intelligence as a utility），那么serving很重要。
• 结论：两块“equally important”。

AI公司真正的壁垒排序（用第一性原理看）

• 政治正确说法：都重要。
• 从first principles出发：模型本身的质量最核心——模型越好，才能有越多的人使用。正如高端的商品定价逻辑：模型可能只比其他好10%，但可以charge double甚至ten times，很多人仍愿意付费（类比苹果手机比安卓贵很多但功能差异也许只有10%~20%）。“模型的好坏是非常critical的。”
• 能力需持续跟上自身演化速度（模型也需要能不断提高，“跟上自己演化的速度”）。
• 关键判断：未来不会只有一家赢家：
• 做得好可能都有生存空间，因为市场会很大，每个人的切入点不同；
• 这是一个“long game”，未来还可能有更多玩家从意想不到的地方切入；
• 现在大家都在做LLM并focus在文本，但以后图形等理解能力可能反过来泛化到文本——不同切入角度（如从coding切入、从图形理解切入）在“不同阶段”可能各自占优（资金成本效益上最cost effective的是coding，但10倍100倍GPU和更多LLM数据后未必如此）。

如何评估一个模型的好与坏（标准因人而异）

• 没有one size fits all的标准。不同使用者的工种决定标准：
• 前端工程师：可能看重审美相关能力；
• 后端/ML工程师：更看重对数据分析、ML理解的准确性或不出错；
• 科学家：需要发散型思维——一要能给新点子（不一定对，但要有“没想到的惊喜”），二要论证时不出错且可long-running（给出high-level指令后能自主跑几天给出结论）。
• “快”与“聪明”如何取舍：取决于真实使用场景。有人喜欢一个跑得特别快、即使智力不是最高的模型，因为能即时反馈、作为coding assistant用；而定义好任务后希望不出错时，选越高智力越好。
• 多元化是自然的：“以后是个多元世界，你做一件事情会跟不同的公司打交道，以后有可能你跟不同的模型打交道”——正如人的多元性，不同的模型擅长不同的事。

世界模型、AGI与未来技术方向

大模型下一个必须突破的难点

• 世界模型（World Model）是水到渠成的方向：“以后肯定是World模型”，但时间不确定——1年、2年、5年或10年不知道——要“在不同的阶段做不同的事情”：有梦想，但眼前的事情要踏踏实实做。
• 现阶段最重要的是coding方向（共识）：能提供immediate的提升、结果可verifiable、是文本domain、训练成本小；在未被完全挖掘完之前，大概是一段时间内最重要的方向。
• VLA模型（视觉语言行动）很可能是通往AGI的关键之一：赵迪认同该方向“没错”，特斯拉（Tesla）可能真正掌握了最多的相关数据——“Elon Musk有可能是第一个把这件事先做成的人”。
• Musk的“数据点”最终能连成线：“他最开始做xAI做得乱七八糟，somehow结果能够做data center，最后回到他的老本行硬件；做完data center又转到利润率最高的业务” ——“口号是有的，梦想是有的，但做事情得一步步往前走。”

AGI的定义（工程视角的务实判断）

• AGI本身是定义模糊的概念。作为做工程的人，赵迪表示：“我现在说是AGI，我也认了——只要我对模型说‘你给我build一个application做这个事’，它就已经做完了、也不会出错，那对我来说这就是AGI。”
• “很多时候这种都是梦想，但你要把它具体实现、具体化，那是最重要的。”

奇点的关键一步与第四次工业革命

• ChatGPT（3.5版本）发布就是那个从0到1的“奇点时刻” ——让人类知道了原来有这样的capability。
• 2025年的agentic方向只是secondary：都是从1到100的延续；与革命性突破相比，“震撼再也没有了”，因为从0到1是从完全不知道、没有信心到有信心，后面是“知道堆钱、堆人、堆机器基本也能解决”。

ChatGPT时代与AI平权愿景（为何加入OpenAI）

• 核心表述是“intelligence as a service / as a utility” ：最崇高的是把intelligence变成公用事业（utility），实现“intelligence平权”。
• 人类本性自私，好的东西会据为己有；用权力强力平权最终权力也变成私有——同理，intelligence到最后会成为“区分阶级的工具”。如果某个公司至少愿意喊出这个口号并隐含“人人都能用”，比intelligence变成某个特权阶级的工具更伟大。
• “你花多少钱就能用什么样的模型，它是明码标价的”，赵迪承认这是目前情况下“唯一能做到一定程度平权的东西”。
• 对贫富差距的担忧：AI（乃至机器人）会让有钱人用更好的工具、更多的token，扩大贫富差距，“比以前的加速度快很多”。马克思说资本需要劳力产生价值，未来“劳力基本不需要了，资本+资本就能产生价值，滚雪球会更快”。
• 更远的担忧：“如果社会制度仍按私有制方式运行，有钱的会越来越有钱，甚至有钱的那部分人不需要下面的人——以前还要人为你打仗、洗衣服，现在都不需要了”；他引用《黑客帝国》（Matrix）比喻，认为到那种形态“不会有太远”。

中美模型的差距与差异化

• GPU的量级差异是制约中美模型差异的一大因素——国内公司GPU较少，因而“差异化是必须的”（更大的参数对应更多样能力）。
• 赵迪提到与一位德国投资人（base湾区）的交流：德国朋友认为做得最好的中国模型是千问（Qwen），而非DeepSeek；他个人觉得R1出来后没有惊艳，感知“准确度不高、幻觉率甚至比以前高”；但用Qwen做转录时“语言系统非常好，翻译极其精准”。
• 他也提到Qwen、Kimi、GLM都做得很好（GLM最新版本“GLM5.2”据说厉害）。
• 开源与闭源的关系：“很多事情能使用open source做当然可以（why why not），不能做的还是要用更frontier的close source model”；开源模型和闭源模型“两部分要做的事都更多，不觉得有太多冲突”。
• 用户选择：根据需求选择不同模型是合理的，就像人会根据商品差异做选择（用ChatGPT做个人世界的最好朋友、用其他模型做深度research、做art/design构图又换一个）。

OpenAI内部：Codex与工程师角色的变化

OpenAI内部工程师现在是否写代码？

赵迪的观点是“写代码本身这件事被重新定义了”：

• OpenAI内部已经全面普及Codex。自年初到现在大约有8倍~10倍的增长，亚太地区有12倍增长。
• 他观察到中国人“最聪明最实际”，看到Codex能力上来且价格便宜就大量转用——一位朋友去年还用Claude，今年全部转成Codex。
• 效率大幅提高：“以前大概一个月的事情，现在一个星期也可以做完。”
• 不是不再需要工程师，而是重新定义优秀工程师的标准：不是“谁手写了多少代码”，而是“谁能够更清楚地发现问题，然后更高质量地驾驭模型，把复杂的事情做出来”。
• 回字的写法比喻：“以前你还可以躲在你写的多少代码里边有点自我陶醉，但现在这一层已经没有——你知道回字有那么多写法，如果你真的没有创造价值也没用。”

人机协作的模式

• 人与AI是交互过程：工程师提供idea的input，AI完成大量代码编写；人类工程师负责审查代码、纠正方向性错误。
• 方向性纠偏仍需要人：AI“不一定是犯很明显的错，而是方向性的判断还是需要人纠正”。工程师需要在点子、判断方向上进行把关。
• “taste”的重要性：从一个点到另一个点可以走不同路径，工程师会择最优路线；对系统有“consistent的理解和逻辑”，这就是taste/系统直觉。
• 为什么必须有编码经验：即使未来全由AI写代码，工程师仍需要经历过写代码的过程才会有“sense”知道哪些该做、哪些不该做，底层逻辑没搭建起来就无法判断对错，特别是偏Infra/hardware系的系统。
• 未来“architect”（架构师）方向：需要的是既有架构能力又有系统sense的人才——不是只会画架构图的人。

关于CS教育是否有存在必要

• 大学教育速度太慢是一个基本问题：AI的knowledge base比任何老师大且准确，而且具备generalization能力，能给人启发——“教育是一定会被颠覆的，我觉得已经被颠覆”。
• 但仍认为编程能力和工程sense应系统学习：年轻人应该通过编码实践建立系统直觉（“必须经过那个过程，才能对系统有敏感”）。
• 对“vibe coding”的反驳：未来社会要求人做自己喜欢的事，如果只是因为过去能赚钱而选择做编程，“这种人就不要做这个事情，你不会happy”——未来做编程赚的钱可能不像以前那么多，支撑做下去的只剩最原始的passion。

“Junior engineer断层”可能出现反向机会

• 如果大家都不写代码、只有architect级别的经验，junior engineer断档将导致“有coding经验的junior工程师反而更吃香”——因为系统直觉重要且稀缺。

对未来AI社会与工作形态的判断

失业浪潮与“奇点”是否成真

• 更可能是循序渐进的过程，而不是某个突变点（对“AGI奇点”表述存疑）。
• 未来大部分工作会被AI取代，关键在于能否“更快速找到下一个增长的点”。如果找不到替代的新支点，“没找到之前确实是挺可怕、挺难过”的。
• 新的支点可能：若SpaceX真正实现大规模航天工业，会涌现大量“未知的未知”和新工种。
• 朋友的故事：一位OpenAI同事副业是“磨刀”，每次上门磨一把刀收25美元——理由则是“机器人不知道磨得好与坏，手不知轻与重，这事不会被机器人取代”。

AI是否会“杀死软件/SaaS”

• 赵迪认为AI已经杀死了一半多软件，被淘汰的进程会明显加快。
• 很多软件“靠用户的惰性生存”，这一类势必被干掉，“干掉也是对世界好的事情”。
• SaaS公司借AI自我革新的说法不是根本应对：核心是“估值”问题——过去高估值的前提是没有AI威胁，“现在有AI威胁的话，估值是不是还这么多呢？”生存总会有的，但被淘汰的进程在加快。

AI创业公司的投资价值判断

• 最重要的评判标准不是“是不是AI”，而是“解决了什么样的问题”。
• 软的intelligence方面竞争很难；硬件上还有很多可做——以扫地机器人为例，现在产品总会每天卡住几次或被缠住，用户需要的是“从头到尾做完、不需要我管”的体验（“一尘不染，什么都不用做就享受生活”那类机器人管家）。没有做到这点，“产品就只是口号而已”。
• 对具身智能/物理智能（Embodied AI）表示很高的期待——这可能是真正确实解决很多痛点、实现人类AGI的真正方向。

自由、使命与“认识自己”

对“自由”的定义

• 自由是一种心灵状态：有人不需要外在物质自由就能达到那种境界，“那是很牛的”；但对于自己，“我还是需要一定物质上的自由才能达到精神状态”。
• 归根结底，真正的自由是“不会为很多琐事烦恼，而是真正做自己想做的事情、过自己想要的生活”。
• 赵迪自己是否自由？：他说还没有完全是——首先小孩要长大，他想做的事是“真正做一个NBA coach或篮球coach”，但那“还得挣钱”。当下的工作很感兴趣且已有passion，“secondary，不算顶级自由，但也算”，因为“我是俗人，大部分90%的人都是俗人”。

使命感与为“3000个被裁工程师”正名的播客

• 赵迪做播客的动机之一：为当时（被马斯克裁掉的）约3000个工程师正名——他认为“大家都非常capable，大家也都做出了很多的贡献”。
• 离开X后有朋友认为Uncertain/被裁员工在别处都发展很好——自觉或不自觉走的人，在别的公司表现都非常好。

大模型公司格局未来的推演

• 开源与闭源两个生态分开看：
• 闭源（close source） ：现在再进入已经挺晚了；未来可能集中为少数几家做前沿模型的close source公司（效率与规模决定）。
• 开源（open source） ：可能“百花齐放”，像开源生物生态+cross pollination一样产生有趣的事物。
• 可能用户最终看到的是两个生态系统并存，而非几十家公司一起领跑。