开源20B参数MoE模型本地流畅运行

05-07 16:49

阅读原文→
刚刚刷到Hugging Face上这个gpt-oss-20b-tq3,真的有点爽啊! OpenAI自己开源的20B参数MoE模型,被社区用TurboQuant 3-bit量化 + MLX优化后,竟然能直接在普通MacBook上本地丝滑跑起来。 完全不用联网、不用交月费,还支持131K超长上下文。 日常聊天、写作、写代码这些日常需求,现在都能在自己笔记本上搞定。 非常适合公司的一些部门使用啊! 以前本地跑大模型还得配高端显卡,现在一台M系列Mac就够了。 模型直达👉 https://huggingface.co/ma

原文内容

开源20B参数MoE模型本地流畅运行

作者:Berryxia.AI / @berryxia
发布时间:2026-05-07T08:49:36.000Z

刚刚刷到Hugging Face上这个gpt-oss-20b-tq3,真的有点爽啊!

OpenAI自己开源的20B参数MoE模型,被社区用TurboQuant 3-bit量化 + MLX优化后,竟然能直接在普通MacBook上本地丝滑跑起来。

完全不用联网、不用交月费,还支持131K超长上下文。 https://t.co/pJFclzwmIF

原文图片

原文图片