英特尔发布至强LLM推理微服务

英特尔推出 Intel Inference Microservices，一套面向大语言模型推理的容器化微服务，可在第四代、第五代或第六代至强处理器上运行，启动时自动检测处理器型号并应用预验证配置。 首批版本基于 vLLM 引擎，支持 BF16 精度，可在 Docker 或 Kubernetes 1.24 及以上环境运行，建议配置 32GB 内存。英特尔称，工具调用和结构化输出目前仅作为 vLLM 的透传能力可用，尚未被验证为正式支持；后续版本计划增加 Helm Chart、Kubernetes Operator 及更多推理引擎和精度支持。每个模型附有各自许可证，用户需自行确保部署符合许可条款。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。