Edge0-145B 开源:64 个专家分三层加载跑在笔记本上的显存账

能力边界与量化口径先对齐

2026 年 11 月 13 日,edge0.ai 在官方博客里发布了 Edge0-145B,采用 Apache-2.0 许可,权重放在 Hugging Face,同一批还开源了一个 120B 版本。它的定位不是「又一个旗舰」,而是一个把参数量堆到 145B、却把每次推理的激活量压到 6.6B 到 10B 的条件激活模型。理解这句话的关键在分母:145B 决定它需要多少存储和内存,6.6B 到 10B 决定它算得多快。

架构上是典型的 MoE 变体,64 个专家共享两个大矩阵。共享矩阵意味着无论路由到哪几个专家,这两个大矩阵都要参与计算,它们在权重中占比不小,也是量化时最敏感的部分;专家部分则是稀疏的,单 token 只走其中一小撮。这也解释了为什么「激活 6.6B 到 10B」是一个区间而不是定值,路由分布会随输入变化。

官方给出的运行指标是:峰值内存 29GB、解码 80+ token/s、功耗约 120W、上下文 128K 到 256K。这四项要一起看。80+ token/s 是在什么量化精度、什么上下文长度、什么硬件上测出来的,官方未披露细项;120W 功耗说明目标平台是单卡甚至移动级 GPU,而不是多卡服务器。把这三个数字当成「笔记本能跑」的证据时,必须同时接受一个前提:你的笔记本得先有足够的内存。

这里有个必须先说清的口径问题。官方同时给出了「约 40GB 专家库放内存」和「峰值内存 29GB」两个数字,两者不在同一维度上,官方未说明 29GB 的统计方式——是 GPU 侧驻留、是进程 RSS,还是扣除了可回收的页缓存,博客里没有展开。工程上的处理方式是不要二选一,按更大的那个准备:装机内存按 48GB 档位起步,把 40GB 专家库与系统开销一起算进去。

三层加载的具体分工与内存预算

三层加载是这个模型能在消费级硬件上跑起来的核心机制。第一层是显存里的热专家,路由频率最高的那部分专家常驻,避免每次前向都要搬运;第二层是系统内存里的专家库,约 40GB,未被提升为热专家的部分放在这里,命中时通过 PCIe 拷进显存;第三层是 SSD 上的词表,约 48GB,按 token 命中按需读取。第三层放在 SSD 而不是内存,是因为词表访问的局部性极强,一次会话里真正用到的 token 分布很集中。

层级存放位置容量口径驻留方式访问代价
热专家显存官方未细列常驻显存带宽级
专家库系统内存约 40GB部分常驻PCIe 拷贝
词表SSD约 48GB按需一次随机读

这张表最容易被误读的地方是第三层。词表放 SSD 不代表每次生成都要读盘,而是未命中的词嵌入向量需要一次随机读。NVMe 的随机读延迟在几十微秒量级,单次看似无所谓,但如果一批 token 里有相当比例未命中,解码速度会被 IO 拖住。所以官方标称的 80+ token/s 有一个隐含前提:词表命中率足够高,或者页缓存已经把常用部分缓存住了。

由此可以推出硬件档位的判断。29GB 峰值已经高于 16GB 机器的全部内存,16GB 机型不是「慢一点」,而是根本加载不起来;32GB 属于边界,模型能起但系统没有余量,浏览器开几个标签就可能触发换页;48GB 是官方口径下比较稳的档位,能同时容纳专家库与页缓存;64GB 以上则可以把更多词表页留在内存里,减少 SSD 读。

内存可行性说明
16GB不可行低于 29GB 峰值口径
32GB边界可加载,无余量,易换页
48GB推荐容纳专家库与页缓存
64GB 以上宽裕词表命中率提升,IO 减少

显存侧的账要单独算。热专家常驻需要显存,KV 缓存按上下文线性增长,128K 上下文下的 KV 占用不是小数。如果显存只有 8GB 或 12GB,热专家池会被压得很小,命中率下降,PCIe 搬运变频繁,实际解码速度会远低于标称值。这一点在选卡时比算力更关键。

环境准备:内存、磁盘与框架版本

准备机器时按三个维度检查,缺一项都会让体验断崖式下跌。

内存是第一优先级,48GB 起步。如果是 DDR5 笔记本平台,注意实际可用容量会因为核显预留而少一到两 GB。磁盘要求 NVMe SSD,SATA SSD 的随机读延迟高出数倍,第三层的按需读取会被放大成明显的卡顿;机械盘基本不用考虑,词表读取会变成秒级等待。权重文件本身也占空间,145B 即使按较低位宽量化也是几十 GB 量级,下载前先看剩余容量。

框架侧,llama.cpp 与 vLLM 都能接,但两者对「专家不在显存」这件事的支持程度不同。llama.cpp 的 GGUF 路径对 mmap 与按需加载支持更成熟,适合内存受限的单机场景;vLLM 的强项是批处理与吞吐,但它的显存规划偏向「权重全驻留」,在专家分层这类场景里需要额外确认版本是否支持 offload。具体支持情况以各自仓库的文档为准,官方博客没有逐一列出框架兼容矩阵。

还有一个容易忽略的点是页缓存策略。Linux 下调低 vm.vfs_cache_pressure 能让词表页更久地留在内存里;Windows 与 macOS 没有等价开关,只能靠加内存。

安装与启动:两条接入路径

权重仓库名与文件命名请以 Hugging Face 页面为准,下面命令里的路径是占位写法,替换成实际下载后的文件名即可。两条路径共同的准备工作是先确认磁盘剩余空间足够,再决定用哪条。

llama.cpp 路径

GGUF 路径的优势是内存控制精细。--n-gpu-layers 决定多少层上卡,MoE 场景下更关键的是专家层的 offload 参数,1.0.0 之后这类开关做过整理,参数名以本机 --help 为准。

第一步先确认构建带上了目标后端,--version 的输出里能看到编译期启用的后端清单,缺了 CUDA 或 Metal 就说明装错了包。

./build/bin/llama-cli --version

./build/bin/llama-server \
  -m ./models/Edge0-145B-Q4_K_M.gguf \
  --ctx-size 131072 \
  --n-gpu-layers 99 \
  --n-cpu-moe 12 \
  --flash-attn \
  --no-mmap \
  --port 8080

--no-mmap 在这类模型上值得打开。mmap 会让内核按需把权重映射进地址空间,看起来省内存,但专家库本身就是要常驻的,映射反而引入缺页中断,在解码路径上表现为周期性抖动。关掉之后由进程自己管理,内存曲线更平。

启动后先别急着跑长上下文,用一条短请求确认能出 token,再看显存占用是否落在一个稳定值,而不是持续爬升。持续爬升通常意味着热专家池在反复扩容,把 --n-cpu-moe 调大一点更稳。

vLLM 路径

vLLM 走 OpenAI 兼容端点,接入上层应用更省事,但要先确认版本支持该模型的架构,否则会在加载阶段报 unknown architecture。

pip install -U vllm
vllm serve  \
  --max-model-len 131072 \
  --gpu-memory-utilization 0.90 \
  --tensor-parallel-size 1 \
  --served-model-name edge0-145b

--gpu-memory-utilization 不要设到 0.95 以上。vLLM 预分配 KV 缓存块,留出的余量太少会在长上下文时触发 OOM,而这个 OOM 往往发生在请求跑到一半,排查成本很高。单卡跑 145B 的 MoE 时,张量并行设置为 1 是常态,多卡反而会因为专家分布不均而收益有限,除非权重本身按专家切分。

128K 长上下文下的实测关注点

上下文标称 128K 到 256K,但「支持」和「好用」是两件事。长上下文下有两个指标必须单独测,而不是看平均吞吐。

第一个是首 token 延迟。128K 输入的 prefill 阶段要处理十几万 token,即使算力充足,这一步也是秒级甚至十秒级。MoE 分层会让它更糟,因为 prefill 阶段一次性激活的专家数量多,热专家池如果装不下,就会触发大量 PCIe 搬运。实测时应该记录 time to first token 与后续解码速度两个数,只看总时长会把问题归错地方。

第二个是专家换入换出的频率。可以用 nvidia-smi dmon 观察 PCIe 读写带宽,如果解码阶段持续有稳定的读写,说明命中率不高。另一个观察点是解码速度的方差,命中率高时 token 间隔应该比较均匀;频繁换出会表现为忽快忽慢。

下面两条命令分别对应这两个观察点。第一条按秒采样显存占用与利用率,看解码阶段是否持续有额外开销;第二条用 curl 的 time_starttransfer 单独拿首 token 延迟,把长输入放进 long_prompt.json 里,避免命令行长度限制。

nvidia-smi dmon -s mu -d 1

curl -o /dev/null -s -w "ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
  http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d @long_prompt.json

还有一个常被忽略的因素是提示词的缓存复用。多轮对话里如果前置部分不变,服务端的 prefix cache 能跳过重复 prefill,首 token 延迟会大幅下降。llama-server 默认开启槽位复用,vLLM 有 --enable-prefix-caching,两边都建议打开,否则每一轮都在重算十几万 token。

适用与不适用的场景

适用的一面很明确:单机、内存 48GB 以上、需要较强推理能力但买不起多卡的环境。把 145B 的容量塞进一台工作站,代价是解码速度受 IO 与 PCIe 制约,收益是不用把数据发到云端。对隐私敏感的分析、代码补全、长文档理解,这类「一次请求算得久一点没关系」的场景,它是合适的。

不适用的一面同样明确。高并发短请求是它的短板,因为每次请求都要重新走一遍专家加载路径,批处理也难做——不同请求路由到的专家集合不同,批大小一上来,显存里的热专家池就会被反复冲刷。实时对话类应用如果要求首 token 在 500ms 内,128K 上下文下基本做不到。

另一个不适合的用法是把它当嵌入模型或分类器。MoE 的稀疏激活在生成任务上有优势,在需要稳定、可复现的打分任务上反而不如小尺寸的稠密模型,因为路由本身引入了额外的方差。

风险提示:跑分口径与独立复现

官方公布的 Terminal-Bench 2.1 自测成绩是 86.52 分。这个数字需要打两个折扣再看。

第一个折扣是对手。对照的模型是 Claude Opus 4.6 Max,属于两代前的型号。用一个新模型去对比一个旧型号,即便分数领先,也不能推出「当前最强」的结论,只能说明它在同代对比里不落后。官方博客没有给出与同期旗舰的横向比较。

第二个折扣是自测。Terminal-Bench 这类基准对提示词模板、工具调用格式、重试策略都很敏感,厂商自测通常会针对基准做适配。86.52 分是自家跑分,需要等第三方在统一脚手架下复现,才能和别的模型放在一张表里比较。

同样的态度适用于那三个运行指标。80+ token/s、29GB 峰值、120W 功耗,官方未披露测试机型、量化精度、上下文长度与批大小。这些参数任意一项变化,数字都会大幅波动。合理的做法是自己按目标场景跑一遍 llama-bench,得到本地基线,再把官方数字当作「上限参考」而不是「预期值」。

最后是许可证。Apache-2.0 对商用友好,但权重文件里可能附带使用条款,分发前读一遍模型卡。145B 的部署成本不低,先在小规模流量上验证收益,再决定是否替换现有方案,比一上来就全量迁移稳妥得多。