INSIGHT
REPORT

ARTICLE / DETAIL

3210亿参数塞进单张显卡,26 token每秒跑起来了

3210亿参数塞进单张显卡,26 token每秒跑起来了 READ
DEEPER
125 阅读
约 5.5 分钟

易胜博带来本期体育资讯:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

about image

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

本文内容由易胜博整理。

返回资讯列表

觉得内容有帮助?

分享给更多关注行业信息的朋友。

热点资讯

快速了解近期讨论度较高的内容。

中美最奇妙的默契,就是各自造了一个价值65万亿美元的巨型水库来安放国民信仰

中美最奇妙的默契,就是各自造了一个价值65万亿美元的巨型水库来安放国民信仰

中美最奇妙的默契,就是各自造了一个价值65万亿美元的巨型水库来安放国民信仰:中国把钱全拌成了水泥填进房地产,美国则把钱全印成了代码吹进资本市场。 一个房子压舱稳住家业,一个美股做指挥棒牵引全球资金,中美谁的安全感更靠谱,这桩账翻开每一页逻辑都扎实得很。 中国人的理财观,房子是主角。 房产既是成家置业的重要依托,也是养老靠山,还能抵银行贷款,兜里有点闲钱都想往砖瓦里砸,多一套算是多把伞。 到2026

“穷就别出去吃饭!”全家8口人吃80元大盘鸡,没吃饱给差评被喷

“穷就别出去吃饭!”全家8口人吃80元大盘鸡,没吃饱给差评被喷

一家八口,老老小小八个人进了饭馆。两个刚会走路的娃娃,一位上了岁数的老人,两个正在窜个子的初中生,再加上夫妻俩。这阵势,搁哪家都得算个大场面。 菜单在手里传了一圈,翻过来倒过去,最后定了一份大盘鸡。菜上了桌。红油浮在面上,土豆块炖得没了棱角,青椒洋葱撒得匀匀当当,卖相确实不赖。 可盘子再大,鸡就一只 八双筷子跟雨点似的落下去,一圈转回来,肉丁都找不着了。两个初中生正是能吃穷老子的岁数,筷子使得跟铲

乌军拦截俄无人机接连失手,泽连斯基指美国“星盾”再次限速161公里

乌军拦截俄无人机接连失手,泽连斯基指美国“星盾”再次限速161公里

11月12日,乌克兰总统泽连斯基公开指责,美国提供的“星盾”军事卫星通信服务再次受到速度限制,导致乌军拦截俄罗斯高速无人机的行动受阻。限速门槛为每小时161公里。泽连斯基称,部分俄军袭击已经得手,原因是乌军拦截设备无法保持所需速度,未能及时击落来袭无人机。 乌克兰总统技术顾问谢尔盖·别斯克列斯特诺夫当天也证实了问题。他表示,不仅追击俄罗斯“沙赫德”无人机的乌军直升机通信受到干扰,专门用于击落喷气式

曾是身家210亿的贵州首富,姜伟却要被罚3亿,贵州百灵怎么办?

曾是身家210亿的贵州首富,姜伟却要被罚3亿,贵州百灵怎么办?

2025年12月3日,贵州百灵的全体员工收到了一封公开信。 写信的人,是公司董事长姜伟。 一天前,中国证监会决定对姜伟立案调查,涉嫌内幕交易、信息披露违法和违规转让股票。 面对这场突如其来的调查,姜伟在信中写道: “我将全力配合调查,坚信监管部门会客观公正地查明事实。” 他还特意补充了一句: “实践中,经调查确无问题的情况亦非少数。” 最后,他叮嘱员工保持冷静,不必过度担忧,继续做好年底的各项工作

李在明不虚此行!他从深圳拿到的成果,足够给韩国人一个交代了

李在明不虚此行!他从深圳拿到的成果,足够给韩国人一个交代了

11月18日,深圳,亚太经合组织领导人非正式会议期间,中韩两国会见结束后,商务部国际司负责人对外确认:中韩自贸协定第二阶段谈判实质性完成,韩国产业通商部同一天也发布了消息。对李在明来说,这 份 东西来得不算早,但终究是拿到了。 中韩自贸协定2015年就生效了,货物贸易的关税减让搞了11轮,两国商品贸易规模一直不低,但那份协定主要管的是货物,服务贸易和投资领域的开放程度很有限。 2018年3月,第二

GTA6 彻底疯狂,可能是史上最吸金的游戏

GTA6 彻底疯狂,可能是史上最吸金的游戏

GTA6 彻底疯狂,可能是史上最吸金的游戏 11 月 19 日,《GTA6》正式解锁。标准版 79.99 美元,终极版 99.99 美元。截至 11 月 13 日,数字预购约 1210 万份,金额约 11.8 亿美元。PS5 占四分之三。预载体积 212GB,开放当天就创下了英国维珍媒体的网络流量纪录。 美国不少公司已经提前做好预案了,防止GTA 6发售当天大规模请假。 迈阿密,所有GTA玩家的第