Nvidia 发布 Nemotron 3.5 Super VL 开源多模态模型，并推出两款本地 Bolt 模型

Nvidia 发布了 Nemotron 3.5 Super VL，这是一个拥有 1200 亿参数的开源多模态模型，专为企业级智能体打造。与此同时，两款紧凑型 Bolt 模型也一同推出，旨在将 AI 智能体带到本地 PC 和边缘设备上。

Nvidia 为需要在后台持续运行、处理文本、图像、文档和视频的专用智能体打造了 Nemotron 3.5 Super VL。

正如该公司在一篇技术博客文章中所解释的，它采用了混合专家架构，每处理一个 token 仅激活 1200 亿参数中的 120 亿。Nvidia 与 Nemotron 联盟共同开发了该模型，该联盟成员包括 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs。

两款面向本地硬件的较小模型同时发布。Nemotron 3.5 Bolt 74B-A9B 24GB 在本地机器上运行智能体任务，而更小的 Bolt E4B 4GB 则面向快速语音助手，将于本月晚些时候推出。Nvidia 声称，这两款模型都提供“每 GB 内存的最高智能”。

Super VL 和 Bolt 加入了现有的 Nemotron 产品线。8 月发布的 Lightning 专为高吞吐量打造，而 Ultra 则负责处理高难度推理任务。每个变体都针对 Nvidia 硬件进行了优化。

Nvidia 声称其最大模型以五分之一的规模达到了同等准确率

Nvidia 从其最大的推理模型 Nemotron 3 Ultra 中蒸馏出了 Super VL。在智能体遵循指令、调用工具、完成多步骤业务流程或分析图像等任务上，Super VL 应当能以约五分之一的参数量达到 Ultra 的准确率。据 Nvidia 称，在 Hermes 和 LangChain 的智能体测试中，它的得分实际上高于 Ultra，并且在编码基准 SWE-bench 和 Terminal-Bench 上也超过了其前代 Nemotron 3 Super。

据 Nvidia 援引 Artificial Analysis 排行榜的数据，在单块 GPU 上，Super VL 在智能体任务中的吞吐量最高可达同类规模其他开源模型的五倍。在 EXO Labs 于 DGX Spark 上进行的一项独立测试中，没有其他模型能同时做到更准确且更快速。当智能体需要在数天或数周内处理大量任务时，这一速度优势便能带来回报。

面对闭源前沿模型，Nvidia 将 Super VL 推销给那些希望用自己的数据微调模型并在自己的服务器上运行、不受服务提供商条款约束的公司。Nvidia 表示，这可能吸引持续筛查理赔欺诈的保险公司，或按自身标准评估信用度的金融服务公司。为便于定制，该公司提供了 NeMo 框架、Python 流水线和开放数据集。

压缩与缓存降低了计算开销

Nvidia 用其 4 位 NVFP4 格式压缩 Super VL。在 Blackwell GPU 上，模型完全以 4 位精度运行，而较旧的显卡仅以 4 位存储权重，并以 16 位进行数学运算。模型的敏感部分保留更高精度。为防止质量损失，Nvidia 训练压缩版本以匹配未压缩原版的输出。

内置的草稿组件会提前提出若干 token，主模型随后在单次前向传播中对其进行验证。在 DGX Spark 上，Nvidia 则推荐其自家的 LiLiCorr 方法，该方法会一并评估所有草稿 token，从而获得更连贯的输出。Nvidia 表示，与不使用推测性草稿相比，这种方法可将文本生成速度提升最高 2.3 倍。

智能体在每次请求时都会发送相同的指令、工具描述和对话历史，因此 Super VL 会缓存这些重复出现的部分的计算，而不是每次都重新运行。Nvidia 的推理软件 Dynamo 还会将同一会话的请求路由到已持有该会话缓存的 GPU。在 16 块 B200 GPU 上，这使 Super VL 可服务的并发用户数量提升至八倍，首 token 时间下降 85%。

Super VL 无需单独的视觉模型即可解析表格、图表和 PDF

在视觉方面，Nvidia 聚焦于智能体在日常工作中遇到的各类材料，包括 OCR、表格、图表、多页文档和视频。Super VL 可以解读图表，将其与同一文档中其他位置的表格关联起来，并对两者进行总结，而无需单独的图像模型。

据 Nvidia 称，在图表基准 CharXiv 上，Super VL 得分为 80.8%，而较旧的 Nemotron 3 Nano Omni 为 63%。当模型还能运行 Python 代码时，得分升至 84%。Nvidia 表示，在 OCRBench v2 排行榜上，它跻身最佳开源模型之列。

本地智能体仍需要昂贵的硬件

Bolt 74B-A9B 24GB 是 Super VL 的精简版本，构建为混合专家模型，每步仅激活其 740 亿参数中的 90 亿。为了将其塞进 24 GB 内存，Nvidia 对权重采用了激进的 2 位量化。

Bolt 可处理日常本地任务，即智能体需要多步操作、调用工具或搜索网页的场景。据 Nvidia 称，用户可以让它编写和调试代码，或确定哪些 PC 组件适合自己的系统。

该模型针对 Nvidia 的 RTX Spark——一款面向支持 AI 的 Windows 笔记本电脑的新芯片，以及 DGX Spark——一款配备最高 128 GB 共享内存的紧凑型 AI 工作站进行了优化。它也可在 GeForce RTX PC、DGX Station 和 RTX PRO 工作站上运行，并支持 llama.cpp、Ollama、LM Studio 和 vLLM。

即使经过重度压缩，24 GB 仍是一个很高的门槛。只有昂贵的高端硬件才提供这么大的内存，而在当前的 GPU 价格下，大多数消费者无法承受这一成本。目前，这款本地智能体面向开发者和高性能工作站用户。

对于较弱的设备，Nvidia 计划推出 Bolt E4B 4GB，不过尚未发货。它设计用于在 GeForce RTX 显卡、Jetson 模块以及 RTX/DGX Spark 上运行，为语音助手、互动角色或设备界面提供支持。该模型应能在多轮对话中保持自然交流，同时使用工具并感知当前应用中正在发生的事情。

早期采用者涵盖金融和网络安全领域

Nvidia 表示，已有数十家组织在针对自身需求微调 Super VL，主要集中在文档量大且数据敏感的行业。Scale AI 将该模型适配为一个代理，用于处理媒体公司 Skydance 的供应商信用，预计成本将降至四十分之一，响应时间降至五分之一。Ramp 使用该模型将收据照片转换为结构化数据，并预计响应速度提升十倍。EY 将其用于收购尽职调查，Hebbia 用于分析信贷协议。

第二波采用者来自网络安全领域。AI21 为安全公司 Alice 微调了 Super VL，后者用它来分析威胁和漏洞，据 Nvidia 称准确率提升了 40%。Dream 使用该模型寻找漏洞，CrowdStrike 正在构建代理以防御企业网络。Salesforce 计划自动化政府工作流程，R1 正在审计医疗账单，Perplexity、Dassault Systèmes 和 Mercor 也在使用该模型。

Nvidia 发布数据集和训练配方

Nvidia 将发布基础版本、后训练版本和 4 位压缩版本的权重，以及数据集和训练配方和强化学习环境。这使得 Super VL 比许多开放权重模型更加开放，后者通常只分享权重。

Nvidia 表示，该模型在预训练和持续预训练期间使用了超过 25 万亿个 token 进行训练，后训练和强化学习在大约 100 个开放训练环境中增加了约 400 万个示例。

在 Hugging Face 上，Nvidia 还发布了多个数据集，其他开发者可用于训练或微调自己的模型。这些数据集涵盖代理如何使用工具、遵循指令、处理长文本和理解图像，而其他数据集则涉及金融、安全和公平性。

其中一个数据集针对印度使用的语言。Nvidia 与印度理工学院马德拉斯分校及其 AI 实验室 AI4Bharat 共同构建了该数据集，包含约 2.83 万亿个 token 的文本，涵盖 22 种印度语言。

开放模型销售 Nvidia 硬件

Super VL 可在 DGX Spark、DGX Station、RTX PRO 和 RTX 等桌面系统上运行，也可在边缘设备中的 Jetson 模块以及数据中心和云中运行。通过 Nvidia NIM，企业可以获得该模型作为可立即部署的微服务，附带经过验证的配置和支持，并计划每两周更新一次。权重可在 Hugging Face 上获取，适用于Nemotron 3.5 Super VL 120B-A12B和Nemotron 3.5 Bolt 74B-A9B 24GB。

Nvidia 公开这些模型，但针对自家产品进行调优，从数据中心服务器到工作站。任何想要充分发挥 Nemotron 性能的人最终都会购买 Nvidia 硬件。

Nvidia 开放模型背后的策略是利己的。越多公司运行自己的开放模型，对计算硬件的需求就越大，而在可预见的未来，开放模型很可能仍会针对 Nvidia 进行优化。与此同时，Meta、Google、Anthropic 和 OpenAI 等公司正在打造自己的芯片，并针对这些芯片优化模型。为了进一步推动开放 AI 模型的普及，Nvidia 最近向 Hugging Face 投资了 129 亿美元，后者是开发和分享这些模型最重要的平台之一。