深度阅读 数据观察 专业观点 持续更新
READ
DEEPER
行业资讯 / FEATURED STORY

当前位置:首页 龙8-long8(头号玩家)唯一官方网站 行业资讯

3210亿参数塞进单张显卡,26 token每秒跑起来了

龙8-long8(头号玩家)唯一官方网站566 阅读约5.5分钟
3210亿参数塞进单张显卡,26 token每秒跑起来了

本文由龙8头号玩家整理发布:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

about image

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

以上内容由龙8头号玩家整理发布。

返回资讯列表

分享这篇内容

让更多人看到这篇有价值的行业观察。

TRENDING NOW

热点新闻

查看近期更新内容,快速了解行业动态与用户关注方向。

TA跟队:阿森纳一直在关注科法内!道曼有望打破贝林厄姆纪录!

TA跟队:阿森纳一直在关注科法内!道曼有望打破贝林厄姆纪录!

TA统计,2023年9月份时,萨卡完成了他的连续第87场英超比赛登场,创造了俱乐部队史纪录。 但从那时起,至今萨卡已经遇到了9次不同的伤病,而最近的68场英超比赛,萨卡只首发参加了36场,并且其中只有19场踢满了全场。 说白了很难听,其实就是累的,当时萨卡创造这个英超连续出场纪录的时候我就说过,这未必是好消息,尤其是萨卡还是锋线球员,不是门将,不是后卫,这样下去很危险……结果萨卡大伤之后始终没有恢

CBA杯赛小组赛最终排名!山东北京等8队晋级,淘汰赛对阵时间出炉,辽篮再遇老对手

CBA杯赛小组赛最终排名!山东北京等8队晋级,淘汰赛对阵时间出炉,辽篮再遇老对手

CBA杯赛第三个比赛日,小组赛全部打完,四个小组的排名已经确定。 辽宁本钢男篮107-115输给山西汾酒男篮,8分之差不敌山西队,全华班打三外援成这样,其实很不错,因为对手几乎是全员主力球员在打。付豪38分12板,打出最强一战,进攻端直接拉满。辽宁男篮所有队员都有贡献,老队员不用说了,几个新人也有亮眼表现。 全场有59次犯规,裁判不断的响哨,哨声太密集了,共有74次罚球,篮球比赛瞬间变成了罚球比赛

出海在外,别把国内习惯的糟粕当成宝

出海在外,别把国内习惯的糟粕当成宝

这几年中国企业或主动或被迫出海,但出海逻辑已经发生深层变化,最大的变化在于,已经从过去以央国企、大民企为主,转向民营、中小企业成为出海主力军。 根据澎湃2025年问卷调查,中型企业出海占比占60%,已超过大型企业的34%。还要注意,中小型企业出海大增是近几年发生的,未来占比只会更大,所以工信部在2025年启动“中小企业出海服务专项行动”,全国各地纷纷出台相关政策,这不仅带动出海业务结构的转变,也带

1704票赞成、4票反对,纳达尔当选皇马董事

1704票赞成、4票反对,纳达尔当选皇马董事

网球名将拉斐尔·纳达尔(Rafael Nadal)在球场之外开启新篇章:他以压倒性多数当选皇家马德里董事会成员。周五,这家西班牙足球俱乐部召开特别股东大会,正式批准了这一任命, 99.5% 的选票投向他。 投票共记录 1713 票,其中 1704 票支持纳达尔,4票反对,5票弃权。结果公布时,俱乐部代表起立鼓掌,这被视为这位西班牙体育偶像在皇马支持者中声望的直接体现。 纳达尔自 2011 年起就是

剑南春|切尔西1-4完败利兹联,奥卡福尔双响,埃梅加破门

剑南春|切尔西1-4完败利兹联,奥卡福尔双响,埃梅加破门

北京时间11月21日23:00,英超第11轮继续进行,切尔西坐镇斯坦福桥球场迎战利兹联,本场主裁判为迈克尔-奥利弗。上半场,凯塞多伤退,罗杰斯助攻埃梅加破门,奥卡福尔扳平比分,下半场,罗杰斯手球送点,勒温点射,奥卡福尔再入一球,阿伦森反击建功。最终,切尔西主场1-4完败利兹联。 关键事件 第25分钟,大马丁长传策动,罗杰斯助攻埃梅加破门,切尔西1-0领先利兹联 第28分钟,奥卡福尔面对3人防守小角