AI 推理基础设施、成本与架构的深层机制分析

AI 推理基础设施、成本与架构的深层机制分析

核心结论：AI 推理的延迟、成本与定价逻辑主要由批大小（batch size）和内存带宽约束决定——理解训练与推理在集群中的物理运作方式，即可解释从模型架构形态、API 定价规则到 AI 进展速度的诸多问题。

核心要点

• 批大小是决定推理成本与延迟的首要因素：将多个用户请求批处理在一起，可使每 token 成本降低约一千倍；不批处理的成本和经济性差异巨大。
• 内存带宽是推理的关键瓶颈：给定硬件下，仅将所有权重从内存读入芯片就需要固定时间，这构成了延迟的硬性下界；容量除以带宽在许多代 HBM 上约为 20 毫秒。
• 最优批大小由稀疏度决定：批大小经验法则约为 300 × 稀疏度，DeepSeek 类模型（稀疏度 ~8×）对应最优批约 2400，实践中再乘以 2–3 倍。
• MoE 的 all-to-all 通信模式决定了专家并行适合在单机架（scale-up）域内完成，跨机架会遭遇约 8 倍带宽差距的瓶颈。
• 更大模型参数的解锁依赖于机架内存容量与 scale-up 域规模：GPT-4 后三年参数未显著增长，因为 Hopper 时代 8 卡仅有 640 GB，无法容纳 5 万亿参数模型；Blackwell 提供约 10–20 TB 才解锁更大模型。
• 训练、RL、推理三项成本均衡时，预训练 token 数与推理 token 数及 RL token 数在同一数量级；当前前沿模型预训练数据量约为 Chinchilla 最优值的 100 倍，即被过度训练约两个数量级。
• API 定价逆向可反推架构参数：Gemini 3.1 在 200k tokens 处涨价 50% 对应内存时间与计算时间交叉点，由此可推算每 token 约 2 KB 的 KV cache 字节数。
• 流水线并行可解决权重内存容量问题，但对 KV cache 无效；更大的 scale-up 域真正的价值在于内存带宽，而非内存容量。

一、推理延迟与成本的基本分析框架

1.1 分析的两条基本原则

• Roofline 分析：同时对芯片集群上的 Transformer 模型进行内存带宽与计算吞吐的双重考察。
• 只关注两个简单因素：处理权重的时间和处理 KV cache 上下文的时间。

目标不是精确预测延迟，而是估算下界——用“时间 ≥ 某个值”表达。

1.2 延迟下界的两个组成部分

总延迟下界 = max（计算时间，权重 fetch 时间 + KV fetch 时间）。

即使最简单的模型，用这个框架也具有很强的预测力。

1.3 成本分析框架

• 成本 = GPU 租用时间（秒）÷ 批大小（批内 token 数量），即每 token 成本。
• 批大小为 1 时成本接近无穷大——所有权重读取无法分摊。
• 结论：“如果你不小批处理许多用户，成本和经济性会差一千倍。”

1.4 硬件常数与批大小经验法则

• 硬件常数：FLOPS ÷ 内存带宽 × fp4 每操作字节数 ≈ 大多数 GPU 上约为 300（无量纲常数）。
• 该常数说明“FLOPS 增长与内存带宽增长基本同步”，跨代际保持稳定。
• 批大小经验法则：批大小 ≈ 300 × 稀疏度。
• DeepSeek 激活 256 个专家中的 32 个，稀疏度 ~8×，理论最优批约 2400；实践中再乘以 2–3 倍。

1.5 平衡点推导

• 令权重 fetch 时间 = 权重计算时间（忽略 KV cache 项简化）：总参数 ÷ 内存带宽 = 批大小 × 激活参数 ÷ 计算吞吐。
• 约简后得：平衡点 ≈ 硬件常数 ÷ 稀疏度 ≈ 300 ÷ 稀疏度。
• 平衡点对应“同时受内存带宽和计算限制”的状态，即 MFU 最优状态。
• 偏离最优上下文长度（如从 100k 增至 200k）会显著降低 MFU（可能降至 50%）。

1.6 列车发车比喻（批填充机制）

• GPU 每固定时间间隔（如 20 毫秒）启动一批新请求，无论是否满载。
• 最坏延迟 ≈ 等待下一班次（最多一个批次周期）+ 批次执行时间。
• 如批次周期 20 毫秒，最坏约 40 毫秒。
• 请求可能错过“当前班次”而需等待下一批次，导致多达约 2 个批次周期的最坏延迟。

1.7 快速模式与慢速模式

• 快速模式（6 倍价格、2.5 倍速度）的机制：通过增大批大小降低每 token 成本存在边界——即“计算时间下界”（compute-bound limit）。
• 慢速模式价值有限：一旦达到计算受限区域，继续增大批大小无法降低每 token 成本——KV 和计算量均按批增长，不能进一步摊薄。
• 延迟存在硬性下界：给定硬件配置，仅将所有权重从内存读入芯片就需要一定时间。

1.8 限制与边界条件

• 分析中忽略注意力机制的计算时间（通常远小于矩阵乘法时间）。
• KV cache fetch 时间对上下文长度线性敏感；上下文长度变化可改变平衡点，从计算受限转为内存受限。
• KV cache 线性缩放假设仅适用于密集注意力架构；稀疏注意力可显著改善（DeepSeek 部分论文可将 KV 相关项降至平方根级）。
• 主持人指出 2000–3000 个并发用户“异常小”，Reiner 澄清这是指并发生成单一 token 的唯一序列数（约 2000 个序列），而非单条长序列内多个 token。
• 若加入 KV cache 项，最优批大小应更大（KV cache 消耗额外带宽，需更多批分摊）。

二、内存带宽、稀疏化与 MoE 的物理部署

2.1 HBM 读取时间的经验法则

• 容量 ÷ 带宽 ≈ 20 毫秒，在许多代 HBM 上保持一致。
• Rubin 代示例：288 GB ÷ 20 TB/s ≈ 15 毫秒。
• 在约 30 毫秒内可以读取全部 HBM 两次；但权重矩阵和 KV cache 几乎全是只读的，重复读取没有意义。
• 因此延迟不宜超过单个读取周期。

“I actually have time to read the HBM like twice. But what's the point of that? I don't want to read the weight matrices twice. I don't want to read the KV twice.”

2.2 系统吞吐量量级估算

• 最优批次约 2000，每秒约 64 批（由 15–20 毫秒/批推导）。
• 吞吐量约 2000 × 64 ≈ 12.8 万 tokens/秒，属于单个推理系统的量级。
• Gemini 去年公告全球流量达数亿 tokens/秒，约为单个系统吞吐量的 1000 倍——要在规模上竞争需部署约 1000 个推理节点。

2.3 稀疏化与用户规模的等价关系

• 核心等价性：增加稀疏度和拥有大量用户是等效的——都可以通过加大批次来摊薄内存读取成本。
• 从分析角度看，稀疏化是纯粹收益方向：“Keep doing it until you run out of available users.”
• 稀疏度翻倍使计算需求减半，而质量损失呈 8× 退化；只要批次够大、内存容量允许，就是净收益。
• 权衡的另一面：稀疏化消耗内存容量（而非仅带宽），更大批次需要更大的 KV cache 存储。

2.4 稀疏化质量的实证数据

引用论文 *Unified Laws for Routed Language Models*（较早期论文）：

• 以 1.3B 稠密模型为基准，64 个专家、370 亿激活参数的稀疏模型质量与之持平。
• 总参数量增加 64 倍（约 100 倍），只换来约 4 倍的活跃参数（4× 质量提升），收益并不惊人。
• 结论：稀疏化收益高度依赖于具体 MoE 实现技术（DeepSeek MoE、GShard、Switch Transformer 等，技术随年代差异很大）。

2.5 MoE 层结构与专家并行

MoE 层结构：token 输入 → 路由器（router layer）决定路由到哪些专家（通常为少数，如 1/32）→ 每个专家是带 up/down projection 的普通 MLP → 聚合求和 → 加上残差连接。

专家并行的部署方式：

• 不同专家放在不同 GPU 上。
• DeepSeek 有 256 个专家，Blackwell 机架有 72 个 GPU，存在整除问题，简化后可用 64 个 GPU，每个 GPU 放 4 个专家。
• 任何 GPU 都可能与任何其他 GPU 通信，形成 all-to-all 流量模式。
• Blackwell 的 NVLink 拓扑天然匹配此模式；跨机架时约一半 token 需走慢 8 倍的 scale-out 网络，成为瓶颈。

2.6 机架物理约束与 scale-up 域演进

• 机架物理特性：约数米高、一至两米宽，容纳约 64 个 GPU（或 TPU）。
• 尺寸受供电、重量、冷却和布线物理约束——线缆密度（connector density）、线缆弯曲半径（bend radius）、机架重量、供电与冷却相互竞争，使现代机架处于极端物理极限。
• GPU 规模演进：Hopper 8 卡 → Blackwell 72 → Rubin 约 500+。
• Hopper 8 卡内存仅 640 GB（2022 年），无法容纳 5 万亿参数模型及其 KV cache。
• Blackwell 部署（2024 年）提供约 10–20 TB 的 scale-up 域，才解锁更大模型。

“One rack is actually the bounds, the size of an expert layout you can do.”

2.7 模型规模停滞的解释

• GPT-4 于 2022–2023 年发布，传言超 1 万亿参数；此后三年模型参数量没有显著增长。
• 原因解释：机架内存容量不足——Hopper 时代 8 卡仅 640 GB；Blackwell 的 10–20 TB scale-up 域才足够容纳 5T 模型加 KV cache。
• Google 更早拥有大规模 scale-up 域，可能是 Gemini 在预训练上领先的部分原因（因果关系不确定——也可能来自超参数调整或 MoE 建模创新）。

三、并行策略：机架流水线与推理部署

3.1 各并行维度对比

3.2 机架流水线的量化分析

• Scale-up 带宽比 scale-out 快 8 倍。
• 一个 token 路由到约 8–32 个激活专家。
• 时间比判定：scale-up 时间 / scale-out 时间 =（数据量扩展因子：激活专家数 × 每阶段层数）÷ 8 倍带宽差距。
• 需使 激活专家数 × 每阶段层数 > 8 才能弥补带宽差距。
• 激活专家数通常较大（如 8 本身就足够），层数也可增加，因此可以有一整条机架流水线。

“I can, in fact, have an entire pipeline of racks where one rack does one layer, and then I move on to the next rack.”

3.3 物理与架构对齐

最佳并行策略在物理上恰好呼应模型架构本身——专家放不同 GPU、层放不同机架。对话者认为这种“物理与架构对齐”很有趣，而非某种更复杂的方案。

3.4 推理中流水线并行的收益与局限

• 收益不是节省时间：只是把内存时间从一个芯片/机架挪到另一个；延迟不改善也不恶化。
• 实际收益是降低每机架内存容量需求（只需四分之一模型）。
• 因此推理中几乎是显而易见的选择，但在训练中存在更复杂的权衡。

“In inference, the effect of pipelining on anything you care about, like batch size or latency, actually is neutral. It doesn't improve it. It doesn't make it worse.”

• 实际使用不多：因为模型权重已能放入单机架（万亿参数约 1TB，远小于机架数十 TB 内存），降低内存容量收益不显著。
• 内存需求公式：M_per_GPU =（总参数 + KV cache）÷（专家并行 GPU 数 × 流水线机架数）。

3.5 Micro-batch 与全局批大小

• 流水线必须用 micro-batch 而非 full batch。
• 正向含义：不需要 SAS 内存。
• 负面含义：无法在用户/序列之间分摊权重加载开销。
• 图示直观证明：4 个 pipeline stage 对应 4 个 micro-batch，才能回绕而不留空闲时间。
• 全局批大小 = micro-batch 数 × 局部批大小；局部批大小由硬件参数设定（如 20 毫秒的“训练”规模，约 2000 × 稀疏度）。

3.6 训练中流水线的困难

• Pipeline bubble 是训练中的核心问题：先做若干正向批次，然后硬停止，切换到反向批次。
• 需一次处理完整 batch 做反向；最优 batch 大小是 ML 收敛（越小越好）与系统总训练时间（越大越好）的权衡。
• 文献中存在更复杂方案（如 zero bubble、one forward one backward）交错正向与反向来避免气泡。
• 某些模型架构（如 Gemma）存在残差连接使按层切分困难。

3.7 硬件设计反思

“If you were designing your hardware and you said, 'I actually didn't need that much memory because I don't need the weights to fit in one rack, I can fit the weights in eight racks,' then I could have maybe built a hardware that didn't have so much HBM per GPU.”

• 行业背景：超大规模数据中心今年 50% 的 CapEx 花在内存上；内存不足导致智能手机出货量下降 30%；超大规模数据中心 CapEx 达数千亿美元甚至约一万亿美元量级。
• 未决问题：为何业界在内存紧缺背景下仍往机架中“塞”这么多内存？

四、训练、RL 与推理的成本均衡

4.1 均衡问题的提出

• Chinchilla scaling 法则只回答给定训练算力下模型应多大。
• 实际目标应是优化用户体验——即训练加推理的总算力最优。
• 存在 RL 推理时，免费训练既服务于 RL 生成，也服务于最终用户推理。
• 过度训练指：更小模型投入更多训练算力，以降低服务用户的推理成本。

4.2 成本公式

预训练成本 = 6 × 激活参数数 × 预训练 token 数（因子 6 来自每参数的前向 + 反向 FLOPs）。

RL 成本 = 6 × 激活参数数 × RL 数据量 × 效率系数 α：

• 效率损失来源一：并非所有 rollout 都会被用于训练（计算浪费）。
• 效率损失来源二：RL 中大量 decode 操作，decode 的 MFU 通常低于训练。
• 每个 token 都做 backward pass 系数为 6，只做 forward 系数为 2，实际约 2–6；再叠加约 30% decode 效率损失，α 总体约为 1/10（可能略大，取约 2/10）。

推理成本 = 2 × 激活参数数 × 推理数据量 × 效率因子 β：

• 系数 2 来自纯前向传播（每参数 2 FLOPs）。
• β ≈ 1/3（推理占比）× 30%（效率损失）≈ 1/10。

4.3 均衡推导步骤

1. 写出三项成本公式。
2. 设定三项成本相等（33%/33%/33% 的粗略均分假设——演讲者承认这是启发式猜测，33% 与 25% 差别不大）。
3. 消去激活参数数。
4. 得到关系式：预训练 token 数 ≈ α × RL token 数 ≈ β × 推理 token 数。
5. 代入 α ~ 2/10、β ~ 1/10：预训练 token 数 ≈ 2 倍 RL token 数 ≈ 推理 token 数——各阶段 token 数同一数量级。

4.4 推论与现实估算

• 直接推论：对 GPT-5 级模型的最优训练配置，每个用户使用该模型产出的 token 总量应约等于该模型预训练数据的总量；而预训练数据总量约等于人类知识总和。
• 现实估算：假设单模型每秒服务 5000 万 tokens，部署 2 个月（约 5×10⁶ 秒），推理总 token 数约 2.6×10¹⁵ ≈ 200 万亿 tokens（扣除多模型家族效应调整后）。
• 对比：前沿模型预训练数据约 150 万亿 tokens——两者相近。
• 假设激活参数约 1000 亿，Chinchilla 最优 token 数约为 2 万亿。
• 实际预训练数据量约为 Chinchilla 最优值的 100 倍——当前前沿模型被过度训练约两个数量级。

4.5 推理中实际采用的并行策略

• DeepSeek 论文报告：大量使用 expert parallelism，扩展至整个 scale-up domain 规模；几乎不做或完全不做 pipelining（至多做一点点以缓解权重存储问题）。
• 前沿实验室做推理时基本上就是在一个单一的 scale-up 域内进行。

4.6 更大 scale-up 域的真正价值：内存带宽

• 权重加载时间 = 总参数量 ÷ 总内存带宽；总带宽 = scale-up 域内 GPU 数量 × 每 GPU 带宽。
• 同一 scale-up 域内的所有 GPU 可并行加载权重；不同 pipeline stages 不能并行。
• 每代硬件带宽提升约 1.25–2 倍，而 scale-up 规模提升了约 8 倍。
• 结论：更大的 scale-up 域重要的原因不是内存容量（pipelining 已解决），而是内存带宽——直接关系到低延迟运行模型和处理更长 context。

4.7 跨机架延迟开销

• 跨 rack 跳转延迟约几毫秒量级（演讲者不确定，可能差一个数量级）。
• 延迟路径：GPU/TPU → 网卡 → top-of-rack 交换机 → 跳转至另一 rack → 反向同样路径。
• 因 decode 顺序执行，这些延迟无法并行掩盖；若每 token 输出需数次跨机跳，从 20ms 变为 30ms 量级，对每 token 10ms 解码时间是显著开销。

4.8 限制与未决问题

• 33/33/33 均衡假设是启发式猜测，无实验室内部数据验证；依赖实验室对 RL 生产率的实际信息。
• 推理 token 数估算存在较大不确定性（每秒 token 数、部署期、多模型分摊）。
• 前沿模型激活参数数（假设约 1000 亿）不确定。
• 若模型失败而非前沿模型，推理 token 预期价值应按概率折减，会改变均衡。
• 成本最小化在均衡点的性质是“conjecture”（演讲者未严格证明），但指出遵循幂律的量通常具有此性质。

五、从 API 定价逆向推断架构

5.1 定价结构原理

• 任何定价结构都必须确保无论上下文长度如何，提供商都能盈利。
• 可构建成本曲线（随上下文长度变化），并设计分层定价（如两档），使价格覆盖各长度下的成本。
• API 提供商有动机将价格定在接近成本的位置，否则竞争者可用低价抢走客户——定价泄露底层硬件与架构信息。

5.2 Gemini 3.1 定价案例分析

• Gemini 3.1：上下文超 200k tokens 时价格增加 50%。
• 200k 分界点与“内存时间 = 计算时间”的交叉点大致对齐（可能不完全一致）。

计算每 token 字节数的推导步骤：

1. 假设记忆时间和计算时间在约 200k tokens 处相等。
2. 假设批大小足够大，使权重加载时间可忽略，只聚焦 KV cache 内存时间。
3. 建立等式：内存时间（= batch size × context length × bytes per token ÷ 带宽）与计算时间（= 激活参数 ÷ 计算吞吐）相等。
4. 求解时批大小和 context length 相互抵消。
5. 代入激活参数约 100B、context 200k，得到 每 token 约 2 KB（计算值约为 1,667 字节，接近 2 KB）。

该数值在多种硬件平台上相对稳定（约为 1/300 量级的倒数）；通过该值可反推架构：d_head = 128（典型值），KV heads 数量通常为 1–8（如 8 个 KV heads × 128 维 × 多层可得约 2 KB；或用更少 KV heads + 更多层达到同样结果；也可通过稀疏注意力实现）。

5.3 输入与输出定价差异的含义

• 输入（prefill）并行处理所有 tokens；输出（decode）一次只处理最近一个 token。
• 输入与输出价格比约 1:5（输入更便宜，输出更贵）。
• 若输出价格是输入的 ~5 倍，说明 decode 严重受限于内存带宽（而非计算）——prefill 可通过批量处理摊薄内存带宽成本。
• 结论：“事实上这一点极度内存带宽受限。”

5.4 KV 缓存定价逻辑

• 缓存写入价格约为直接计算的 10 倍（约）；缓存命中后读取价格约为直接计算的 1/10。
• 产生 KV cache 的两种机制：从 token IDs 从头计算，或之前算好存入内存再读取。
• 价格比反映这两种机制的比值。

KV 缓存存储层选择框架：

• 按 HBM、DDR、Flash 分别考虑两种成本：检索成本（瞬时）与持有/存储成本（每秒）。
• 重物化成本：从 scratch 重算一 token 的 KV cache 并丢弃存储 = GPU 时间 × GPU 每秒成本。
• 存储时间长度决定最优层级。

5.5 上下文长度增长的停滞

• GPT-3 到 GPT-4 时代上下文从约 8K 跃升到 100K，但近一两年各模型多在 100K 附近徘徊。
• 上下文长度提升的瓶颈主要在于内存带宽和内存容量，而非计算成本。
• HBM 技术改进缓慢，目前无好的解决方案（“memory wall”问题）。
• 稀疏注意力可提供改善（平方根级别提升），但过高稀疏度会导致质量下降。
• 历史数据或可视为成本平衡点的证据。

“如果说的是需要达到 100M 上下文才能等同于与员工共事一个月，那么需要底层的 ML 基础设施改变才能支持这种规模。”

5.6 相关背景

• Character AI 博客（交替长/短上下文、全局上下文跨所有层共享）与 Gemma 模型相关。
• Dario（Anthropic CEO）在播客中提出“不需要持续学习，上下文学习足够达到 AGI”。

六、记忆层级定价分析与密码学类比

6.1 记忆层级成本平衡原则

• 在成本平衡考量下，面对不同记忆层级时，成本上升的同时，某一对应指标（大概率指访问延迟或保持时间）应下降，形成阶梯状对应关系。

推理链一（通过 API 定价推断记忆层级）：

• API 中设定“5 分钟”与“1 小时”两种不同的写入价格且价格不同。
• 5 分钟对应的记忆层级很可能是 HBM，1 小时可能是 DDR；虽然也可能是 DDR 对闪存，但 HBM/DDR 是“相当不错的假设”。

推理链二（排水时间匹配保持时长）：

• 排水时间 = 存储容量 ÷ 存储带宽；应约等于该层级保持数据的合理时长（能每保持周期完整读取一次整个存储内容）。
• HBM：约 20 毫秒，远小于 5 分钟。
• DDR：约 1–10 秒（差一到两个数量级）。
• 闪存：约一分钟量级。
• 机械硬盘：约一小时量级——与 API 中“1 小时”保持时间高度吻合。

推理链三（容量占比与时间平衡）：

• 假设使用设备容量的 10%，最小化成本需使“保持数据”与“检索数据”的成本分数相等。
• 数学上：检索时间 = 保持时间 × 容量使用分数。
• 此计算进一步指向闪存与机械硬盘两级。

结论：该 API 的存储层级很可能采用闪存和机械硬盘。

“看到机械硬盘还在被使用，我挺震惊的——它太老了；而且它慢到把全部容量加载完要一小时，这真的很难想象。但它在某些地方还是有用的。”

6.2 密码协议与神经网络的相似性与对立

相似性：

• 都依赖“混合/扰乱信息”的机制。
• 哈希函数要求每个新输入彻底扰乱全局输出（雪崩效应）；神经网络需考虑一条信息如何改变对另一条信息的理解。

根本方向的对立：

• 密码协议：将带有结构的信息转化为不可区分的随机性。
• 神经网络：从看似随机的数据（随机蛋白质序列、基因文本、乱码）中提取更高层结构。
• 机制相似，目标恰好相反。

6.3 为什么神经网络不是密码

• 随机初始化的神经网络可能也是不错的密码（以复杂方式扰乱输入）。
• 使神经网络可解释的关键在于梯度——可对网络求微分并获得有意义的导数；为此做了大量工作使导数不过于复杂（残差连接、层归一化）。
• 密码学最强大的攻击方式之一是求微分（差分密码分析），但密码运行在二元域（特征 2 的有限域）而非实数域。
• 密码设计的全部目标正是让输出差分尽量大——与神经网络让变化可控的优化目标相反。

“差分密码分析的本质是：输入一个很小的差分，输出差分很难保持很小——让输出差分变大正是好密码的全部工作。”

6.4 交汇点：后门攻击与对抗攻击

• 后门攻击隐藏对反向传播的输入（而非前向传播的输入），造成的“雪崩效应”与密码学情形完全类似。
• 对抗攻击（微小图像扰动导致完全改变分类）在密码学中是常态，对神经网络却是非期望情况。

6.5 Feistel 构造与可逆网络

Feistel 构造步骤：

1. 选取不可逆函数 f（如 MLP）。
2. 给定 x 与 y：保留 x 副本，计算 f(x)，将 f(x) 与 y 相加，输出 (x, y+f(x))。
3. 逆向：从输出直接读取 x；用 z − f(x) 恢复 y。
4. 结论：整体构造可逆，即便包含不可逆的 f。

RevNets（Reversible Networks，2017/2018 论文）：

• 将 Feistel 构造应用于神经网络（如 Transformer 层），使整个网络可逆。
• 两路输入 x 与 y：x 经过 f 后与 y 相加成为新的 x，原 x 成为新的 y——相当于间隔两层做的残差连接。
• 实践价值：正常训练时每层激活值需写入 HBM，激活值占用与层数线性相关，常为最大内存占用。RevNets 因网络可逆，完全无需存储激活值；反向传播时同步逐层撤销前向过程来重新物化激活值——以更多计算换内存节省。
• 对比 KV Cache 逻辑：KV Cache 以内存换计算（顺应当前 DRAM 价格低、计算成本高的现实）；RevNets 相反——以计算换内存。

“花更多内存换计算通常划算——取决于 DRAM 的价格；但 RevNets 是反过来的方向。”

6.6 限制与未决问题

• 记忆层级判断基于定价与排水时间推算，存在其他解释可能。
• 对闪存和机械硬盘的具体参数依赖估算。
• 用神经网络做密码创作极危险——“99% 都会被攻破”。
• 可逆网络省内存的实际效果取决于具体硬件条件与工作负载。

七、总结

本次讨论从推理基础设施的物理机制出发，建立了从批大小到延迟、成本、架构选择、定价策略的完整分析链条：

1. 批大小是推理成本与延迟的第一决定因素，最优批大小由稀疏度和硬件常数（约 300）共同决定。
2. 内存带宽是普遍瓶颈——容量/带宽 ≈ 20 毫秒的经验法则跨代际稳定；权重读取构成延迟硬下界。
3. MoE 架构的 all-to-all 通信模式决定了专家并行适合在 scale-up 域内完成；机架物理约束（供电、冷却、线缆密度）推动 scale-up 域从 Hopper 8 卡演进到 Rubin 500+。
4. 流水线并行可解决权重内存容量问题（收益中性），但对 KV cache 无效；更大的 scale-up 域的真正价值在内存带宽而非容量。
5. 训练、RL、推理成本均衡推导出各阶段 token 数同量级的结论，并揭示当前前沿模型被过度训练约两个数量级。
6. API 定价可逆向反推架构参数——200k crossover、2 KB/token、输入输出 5 倍价差均指向内存带宽受限的现实。
7. 密码学与神经网络在机制上相似（信息扰乱与结构提取），但在目标、数学域和优化方向上根本对立。

核心方法论启示：基于 roofline 分析、只关注权重处理和 KV cache 两个因素、以“近似是赋能的”为原则到处使用一阶近似估算，即可获得对 AI 系统成本、延迟、架构与定价的强解释力。