Article Focus

内容阅读与观点延展

以清晰阅读路径承载正文、上下篇与推荐内容,让深度文章浏览更加专注自然。

3210亿参数塞进单张显卡,26 token每秒跑起来了内容展示

当前位置为资讯正文页面,可继续阅读上下篇或进入推荐阅读区域。

3210亿参数塞进单张显卡,26 token每秒跑起来了

本篇内容由胜天国际整理:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

about image

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

本文内容由胜天国际整理。

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
恰尔汗奥卢续约谈崩,尤文盯上免签国米核心
恰尔汗奥卢续约谈崩,尤文盯上免签国米核心

恰尔汗奥卢尚未与国际米兰签下新合同,这意味着这位土耳其中场有可能在赛季结束后以自由身离队。据称,尤文图斯对这一局面很感兴趣,希望把他带到都灵。 国米方面清楚目前的处境,正努力避免他在没有转会费的情况下离开。俱乐部仍将恰尔汗奥卢视为最重要的球员之一,倾向于留下他,但双方的续约谈判至今没有取得突破。 局面可能在明年一月变得更加复杂——届时这位中场可以与其他俱乐部讨论潜在转会。他在意甲踢了大约十年,或许

社保缴费,变了!2027年1月1日起按新规执行
社保缴费,变了!2027年1月1日起按新规执行

点击“ 新理财 ”即可关注! 今年以来,多地陆续出台社保缴费新规。 2027年1月1日起,社保缴费又将有大变化了!近日,广东拟发布新规: 职工个人缴费工资应当经职工本人签字确认。 本文重点如下⬇️ 广东:社保申报需员工本人签字确认 欠缴社保最高罚3倍,11月起执行 2026年社保补缴新规,7月起执行 未足额缴纳社保,员工离职能否索要补偿金? 最新!2026年社保缴费基数一览表 广东新规: 职工个人

CBA丢脸丢到美国去了?一个回合4次失误:王哲林让奥尼尔笑翻了
CBA丢脸丢到美国去了?一个回合4次失误:王哲林让奥尼尔笑翻了

CBA这次真的丢人丢到美国去了,近日,大鲨鱼奥尼尔更新了社媒,还是我们日常熟悉的奥胖五大囧。只不过,这一次上榜的不是NBA球员,而是我们的CBA球员。在奥尼尔这一次五大囧中,CBA的孙铭徽、刘铮等人都被提名,一个攻守回合能够玩出4次失误,这也是真的绝了。王哲林、孙铭徽、布朗以及刘铮等人的滑稽表现,也让奥尼尔直接笑翻了。 众所周知,奥胖五大囧是以娱乐为主的一档视频节目,中国球员也偶尔会登上奥胖五大囧

千年预言正在应验:有路无人走,有房无人住,学区房时代将要落幕
千年预言正在应验:有路无人走,有房无人住,学区房时代将要落幕

“有路无人走,有房无人住”,这句流传已久的俗语正在应验。城镇化在转型,人口结构在逆转,教育制度也在改革。曾经一房难求的学区房,时代正在落幕。如今无论农村还是城市,有人住的地方基本都通了路,这得益于村村通工程。 可是路多了,路上的人却少了。不少村落鼎盛时期有上千人,如今常住居民不足三成,留守的大多是老人和孩子。城市里也有类似现象。远郊新城道路宽阔、配套齐全,车流却很稀疏。不少三四线城市的新小区入住率

不用翻书也不用问别人,这21个狂草字您能认出几个?认出10个以上就是高手。您会先扫一遍整体,还是一笔一笔抠细节?
不用翻书也不用问别人,这21个狂草字您能认出几个?认出10个以上就是高手。您会先扫一遍整体,还是一笔一笔抠细节?

不许查字典,不许请教别人,就凭自己的眼力这幅21个字的狂草,您能认出几个?我想说超过十个就算您是高手。不过在报数之前我想先问一句:刚才目光扫过去的那一瞬间,您是先看整体气韵,还是先盯住某一个字的笔法? 这个问题虽听着不起眼但在我看来,它比认出几个字更能说明一个人的审美层次。 在现实中接触的书友后发现书友辨认习惯都差不多。看见作品,眼睛马上盯在字的笔法上一笔一笔地拆,想弄明白这一撇怎么出锋或是这一钩