内网Ollama部署Qwen2.5-7B纯CPU实测
热点事件持续更新
内网Ollama部署Qwen2.5-7B纯CPU实测
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
有用户在无 GPU 的内网服务器（16 核 / 62GB 内存）上，通过 Ollama 以 systemd 服务部署 4bit 量化的 qwen2.5:7b-instruct（4.7GB），用于 RAG 问答，并公布了实测数据：冷加载 5.85 秒、prefill 约 68 tok/s、decode 约 8.5 tok/s、端到端 9.7 秒。这些数字均为纯 CPU 推理水平，不能与 GPU 机器数据直接比较。 该用户称，默认日志不含逐 token 性能明细，需开启 debug 才能看到 llama_perf_context_print 等细粒度行；改动 systemd 配置需重启 ollama，会中断服务数十秒，生产环境应确认后再操作。
AI 根据报道生成 · 59 分钟前更新
最新进展10月22日 18:13
内网用 Ollama 部署 Qwen2.5-7B 实操：日志、性能与模型选型梳理报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- 博客园内网用 Ollama 部署 Qwen2.5-7B 实操：日志、性能与模型选型梳理
在内网 16 核 / 62GB 内存、无 GPU 的服务器上，通过 Ollama 以 systemd 服务部署 qwen2.5:7b-instruct（4bit 量化后 4.7GB）做 RAG 问答，实测冷加载 5.85s、prefill 约 68 tok/s、decode 约 8.5 tok/s、端到端 9.7s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。