端侧 J3455
| GPU | —(无独立显卡) |
|---|---|
| 显存 | 无独显 |
| CPU | Intel Celeron J3455 @ 1.50GHz(4C / 4T,仅 SSE4.2 无 AVX) |
| 内存 | 7 GB(实测可用 4 GiB,1 GiB swap) |
| 磁盘 | LVM 57 GB(余 44 GB) |
| 系统 | Ubuntu 26.04.1 LTS |
| 驱动 | — |
| CUDA | — |
| 架构 | x86_64 |
这台机器的坑
2026-11-06 实测:4C/4T / 7 GB / Ubuntu 26.04.1。 —— 它是「下限对照组」。llama.cpp 跑同一个 PLaMo 0.8B Q4_K_M:单线程 2.01 tok/s、4 线程 7.59 tok/s,与 80 线程 Xeon 的单线程 14.68 差 、4 线程差 。但加核效率反而更高(4 线程/单线程 = 3.78×,Xeon 只有 2.49×)—— 因为没有跨 NUMA、没有超线程抢执行单元。🔴 关键限制:只有 SSE4.2、,llama.cpp 会自动降级到 libggml-cpu-sse42.so 后端。这件事不报错不提示,是「同一份模型别人快你慢」最常见的原因 —— 先查后端名字再看主频。⚠️ 7 GB 内存决定了它只能跑 0.5B–2B 级模型,8B 以上装不下。
端侧低配对照机(旧笔记本改 Ubuntu):验证「老机器到底能不能跑」
2026-11-06 实测:4C/4T / 7 GB / Ubuntu 26.04.1。 —— 它是「下限对照组」。llama.cpp 跑同一个 PLaMo 0.8B Q4_K_M:单线程 2.01 tok/s、4 线程 7.59 tok/s,与 80 线程 Xeon 的单线程 14.68 差 、4 线程差 。但加核效率反而更高(4 线程/单线程 = 3.78×,Xeon 只有 2.49×)—— 因为没有跨 NUMA、没有超线程抢执行单元。🔴 关键限制:只有 SSE4.2、,llama.cpp 会自动降级到 libggml-cpu-sse42.so 后端。这件事不报错不提示,是「同一份模型别人快你慢」最常见的原因 —— 先查后端名字再看主频。⚠️ 7 GB 内存决定了它只能跑 0.5B–2B 级模型,8B 以上装不下。
与选型相关的实测(2 条)
| 任务 | 数值 | 等级 |
|---|---|---|
| J3455 跑 Q2_K 0.3B 单线程 decode | 1.3 tok/s | L0 |
| J3455 跑 Q2_K 0.3B 四线程 decode | 4.8 tok/s | L1 |
部署与运维相关(16 条)
磁盘、缓存、网络层面的数据,决定「能不能装下、传得快不快」, 不代表算力强弱。
| 任务 | 数值 | 等级 |
|---|---|---|
| Celeron J3455 单线程内存 copy 带宽 | 8.01 GB/s | L1 |
| Celeron J3455 双线程内存 copy 带宽 | 15.76 GB/s | L1 |
| Celeron J3455 四线程内存 copy 带宽 | 28.47 GB/s | L1 |
| Celeron J3455 纯 Q4_0 反量化吞吐 | 5334.9 MB/s | L1 |
| Q2_K 相对 Q4_K_M 的 decode 速度比(小于 1 = 更小反而更慢) | 0.65 倍 | L1 |
| 千兆内网单流传输速度(573MB 模型) | 117.1 MB/s | L1 |
| 单线程 decode 吃到内存带宽的比例 | 14.3 % | L1 |
| 单线程 decode 相对端侧老机器的倍数(端侧基准) | 1.0 倍 | L1 |
| 多核扩展效率(4 线程 ÷ 1 线程) | 3.78 倍 | L1 |
| 纯 CPU 1.5B decode 跨机倍数(对 J3455) | 1.0 倍 | L1 |
| 纯 CPU 1.5B decode(4 线程全核) | 2.89 tok/s | L1 |
| 纯 CPU 1.5B decode(单线程) | 0.77 tok/s | L1 |
| 纯 CPU 1.5B prefill(4 线程) | 3.79 tok/s | L1 |
| 纯 CPU 全核 decode(4 核跑满,PLaMo 0.8B) | 7.59 tok/s | L1 |
| 纯 CPU 单线程 decode(PLaMo 0.8B Q4_K_M) | 2.01 tok/s | L1 |
| 镜像站单流下载速度(573MB 模型文件) | 1.16 MB/s | L0 |