Redis创始人用C语言引擎将大模型"装进"个人电脑

05-09 22:36

阅读原文→
Redis创始人Antirez开源了专为DeepSeek V4 Flash设计的原生推理引擎ds4。该引擎仅用几千行C代码,通过三项关键技术:对MoE专家进行不对称2-bit量化、将KV Cache移至高速SSD突破内存限制、为Apple Silicon进行纯Metal原生优化,成功在128GB MacBook Pro上流畅运行具备1M上下文窗口的模型,实测达27 tok/s。此举将原本依赖云端GPU集群的前沿AI能力,通过极致工程优化 democratize 至个人设备,展现了开源社区推动技术平民化的强大潜力

原文内容

Redis创始人用C语言引擎将大模型"装进"个人电脑

作者:阿绎 AYi / @AYi_AInotes
发布时间:2026-05-09T14:36:38.000Z

Damn,Redis创始人用一个C文件,干翻了大厂烧几十亿的GPU集群。

Antirez,那个写出Redis的传奇黑客,昨天开源了ds4。

一个专门为DeepSeek V4 Flash写的原生推理引擎,只有几千行C代码。

它做到了一件很多人都觉得不可能的事:
把拥有1M上下文窗口、能跑完整coding

原文图片