Deepgram 将 Nova-3 移植到 Trainium2 并优化推理

Deepgram 与 AWS FDE 团队将 Nova-3 语音转文字模型移植到 AWS Trainium2，在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。Deepgram 称，在离线、以吞吐为导向的批处理任务上，这套配置每美元处理的音频量比其原有算力方案提升 11%–70%，测量采用评估时的实例价格。 移植工作包括将 Nova-3 接入 AWS Neuron 软件栈、进行内核级调优，并构建数据并行 Rust 运行时，让 Deepgram 自有模型服务器调用 Trainium。 Deepgram 称，这些收益可延伸至在自有 VPC 中通过 Amazon SageMaker AI 自托管其模型的客户。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。