跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

16 条精选近 30 天 13 条共收录 81 条

更新

部署工程的精选

10月10日周六第 1–16 条
10月8日周四
  1. NVIDIA Blog74

    NVIDIA 与 Microsoft 发布 RTX Spark 笔记本及 Windows 智能体基础设施

    在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 公布面向 Windows PC 的智能体软硬件方案:Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力一并给出,读者可据此判断本地智能体的落地条件。

  2. GitHub Blog · AI & ML60

    GitHub 推出基于 ModernBERT 的通用密钥检测模型,扩展推送保护

    GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,用代码上下文识别非结构化密钥,候选批次评估耗时低于 2 毫秒,可将可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 用九个季度的密钥泄露数据说明防护为何要跟上代码生成速度,并给出新分类器的落地范围。

  3. Microsoft Research80

    微软研究院开源 Agent Lightning v1.0:3500 行轻量智能体 RL 框架,直接训练真实 harness

    微软研究院亚洲团队开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体 RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出可复现的编码智能体训练结果。

10月2日周五
  1. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,支持双机集群扩展本地 AI

    NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备端运行。

    推荐理由:原文给出 64GB 新配置的价格、上市时间与双机集群性能数据,可据此判断本地跑大模型的成本与扩展方式。

9月30日周三
  1. OpenAI60

    OpenAI 升级 Codex Security Cloud,默认接入 Daybreak Blue 网络安全模型

    OpenAI 宣布 Codex Security Cloud 迎来重大升级,默认包含通过 Daybreak Blue 访问具备网络安全能力的模型。该功能可扫描整个 GitHub 仓库、持续审查新提交、调查并去重发现的问题,并准备好修复方案供审阅,即使笔记本关闭也能运行。它以插件形式在 Codex 桌面端和网页端提供。

    推荐理由:官方给出 Codex Security Cloud 的扫描、审查与修复准备能力,读者可据此判断安全审查流程的变化。

9月24日周四
  1. Microsoft Research62

    微软研究院:把物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧推理的瓶颈,并给出可复用的 Kubernetes 卸载工具链与开源入口。

9月18日周五
  1. Anthropic62

    Anthropic 用 Claude 优化 30 多个生物分子开源模型推理,平均提速 4 倍并开源代码

    Anthropic 在最新 Science Blog 中介绍,Claude 为 30 多个生物分子开源模型优化推理,平均提速 4 倍,部分工作是为 GPU 编写定制软件。这些模型原本用于分子系统结构建模、类药物分子设计和基因突变影响预测,但运行成本高昂。Anthropic 表示将开源全部优化代码。

    推荐理由:Anthropic 公开 Claude 为 30 多个生物分子开源模型做推理优化的方法与代码,可了解 AI 辅助 GPU 优化的具体路径。

9月4日周五
8月26日周三
  1. Andrew Ng60

    Andrew Ng 的 OpenWorker 发布新版本,内置代码漏洞与供应链安全智能体

    Andrew Ng 宣布开源智能体 OpenWorker 发布新版本,新增面向安全流程的多项功能。新版本内置三类网络安全智能体,分别扫描代码漏洞、扫描依赖中的供应链注入,以及检查云安全配置的攻击面,让开发者在部署前完成更多安全工作。

    推荐理由:OpenWorker 新版本把安全扫描能力做成内置智能体,并说明开源 harness 可审计、模型可自选,读者可据此判断本地安全智能体的落地方式。

7月29日周三
  1. Berkeley AI Research62

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley Sky Lab 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX,通过结构化 CUDA-to-MLX 翻译层把已有 CUDA 内核当作知识库,在 Apple Silicon 上生成高质量内核。

    推荐理由:读者可看到 CUDA 内核经验如何被结构化迁移到 Apple Silicon,以及翻译层对性能差距的具体贡献。