Telas AI芯片：
17K tokens/s 背后的真相

🔥 网红AI芯片 · 工程奇迹还是营销幻觉？

导读

近期爆火的Telas AI芯片宣称每秒钟可处理 17,000 tokens，是NVIDIA B200的48倍。本笔记从技术原理、基准测试、精度质量与物理极限四个维度，拆解这家现象级产品。

核心数据速览

17K tokens/s

Telas官方声称峰值（Llama 3.1 8B）

353 tokens/s

NVIDIA B200（Telas自测）

815 mm²

芯片面积 / 530亿晶体管 / 6nm

2.5 KW

十卡整机功耗（官方）

技术原理：把权重「刻」进硅片

推理的两个阶段：

Prefill（预填充）：输入token并行处理，瓶颈在算力
Decode（解码）：逐个生成token，串行流程，瓶颈在带宽

传统GPU的痛点：

权重存在HBM显存中，需反复搬运。单并发场景下，带宽瓶颈是算力的 99倍，99%的耗时都在搬数据。

Telas的解法：

将Llama 3.1 8B权重进行 3bit / 6bit量化
电路「通/不通」表示0/1，3条电路=0~7，6bit=0~63
权重直接固化在硅片中，彻底消除内存墙
推理时仅需搬运KV Cache，无需搬运权重

基准测试：被质疑的「数据口径」

争议点1：谁的数据？

只有H200和B200是Telas自己测的，其他数据均借用第三方。且测试并发数不明（单并发/多并发未披露）。

争议点2：并发口径错位

官方文档显示，对方（H200/B200）的数据取自 64并发下 单请求中位数；而自家芯片显示的是 单并发峰值。拿人家高并发值对比自己单并发值，此比较极不公平。

争议点3：实测打脸

网页API实测速度约 1800 tokens/s，远低于宣传的17K
界面显示「2ms生成34 tokens」，但网络延迟实测为 200ms+
17K峰值意味着每2ms生成34个token，还需在2ms内完成Prefill——瞬间所需算力已超过最强GPU，物理上不现实

精度质量：一场「灾难性」退化

Telas声称使用量化后的Llama 3.1 8B，但实测结果触目惊心：

模型 / 测试项	MMLU	MMLU Pro
Telas API	40.3	20.6
GPT-3（2020年）	43.9	—
千问一代1.8B（两年前）	45.3	—
未量化Llama 3.1 8B	69.4	—

💡 关键发现：3bit量化后的Llama 3.1 8B在MMLU上仍然高于Telas API分数，说明Telas的量化处理引入了更多额外精度损失。

结论：从「能用的推理模型」直接跌回「六年前水平」，基本不可用。

物理极限：815mm² 装不下未来

芯片尺寸815mm²，比H100（814mm²）还要大，却只能塞下一个8B量化模型
6nm工艺已是极限，即使升级到3nm、16A，最多把模型容量翻4倍到约 40B
距DeepSeek R1的 671B 参数，差了整整一个数量级
SRAM成本极高且容量有限：单服务器SRAM上限约44GB，KV Cache空间严重受限

良品率之痛：

H100可分GH100/H100 SXM/H100 PCIE三种规格，坏掉的核心可直接屏蔽降级卖。而Telas芯片任一权重点出错，整片直接报废，必须重做。要实现30张卡完整R1部署，成本离谱。

⚠️ 媒体报道「Telas集群跑DeepSeek R1创速记录」——实际全部为仿真模拟，并未真实跑通。

架构困境：锁死在单一模型上

不适合MoE：MoE仅激活约10%参数，意味着90%硅片闲置浪费
新架构免疫：千问3.5已采用「3层线性注意力+1层全注意力」；若Transformer架构被取代，Telas价值归零
模型固化：开源模型发布后，需等1年以上才能做成芯片；客户购后2~3年只能使用陈旧模型，且上下文极短、成本极高、仅供单用户使用

功耗的真相

官方强调2.5KW/10卡功耗低，但对比消费级显卡：

配置	并发数	吞吐量
RTX 5090（NVFP4量化+TensorRT）	单并发	148 tokens/s
RTX 5090	128并发	18000 tokens/s
Telas官方	单用户	17000 tokens/s（声称）

单张5090在多并发下就已超越Telas。如果是B200 MVL72集群，总吞吐量可能是其上万倍——算上并发效率，每token的功耗并不低。

「工程上的极致创新，
却是商业上的尴尬玩具」

Telas AI 芯片的综合评判

📌 总结：一次值得肯定的尝试，但远未成熟

✅ 值得肯定：从物理层面消灭了内存墙，验证了SRAM在推理硬件中的潜力；单请求解码速度确实做到了极致。

❌ 致命短板：基准测试极具误导性；模型质量灾难性退化；上下文长度受限；无法适配新架构；在数据中心级并发场景毫无优势。

🎯 最终结论：大概率只是一个「实验室玩具」，距离真正的商用交付还有极远的距离。

行动建议

不盲目迷信峰值 tokens/s，关注端到端真实吞吐与模型效果
参考MMLU、MMLU Pro等多基准全面评估，而非单一指标
对第三方芯片，务必要求披露完整并发条件与完整评测链路
关注架构可兼容性：是否支持MoE、混合注意力等新模型结构
等待独立第三方复现验证后再讨论采购和部署

Telas AI芯片：17K tokens/s 背后的真相

📌 总结：一次值得肯定的尝试，但远未成熟

Telas AI芯片：
17K tokens/s 背后的真相

Telas AI芯片深度解读