10 月 28 日，英伟达发布开源权重语音模型 Nemotron 3.5 Transcribe，并已在 Hugging Face 上线。与以往"转写、翻译、说话人分离各用一个模型"的串行管线不同，这款模型通过文本指令即可在同一框架内完成录音转写、翻译、说话人标注与音频内容问答：支持 40 种语言转写（含 7 种印度语系语言）、31 种语言与英语互译、13 种语言说话人分离，可处理最长 1 小时、最多 8 位说话人的录音，并按需输出词级时间戳。
在英伟达给出的示例中，同一段会议录音，用户只需更换提示词，就能得到带说话人标注的会议纪要、英文译文，或"这次会议做了哪些决定"的答案摘要。提示词还可以附带领域术语表——例如医疗场景中的药品名称——并指示模型仅在音频中确实出现时才使用，以处理医疗、金融、客服等行业的专有词汇。
一个模型替代一条多模型管线
长期以来，语音处理应用的典型做法是"级联管线"：先用语音识别模型转写，再用说话人分离模型标注"谁在说"，最后交给翻译或摘要模型。英伟达今年 9 月开源的 Nemotron 3 Diarization 就属于这类专用模型——它可实时区分最多 8 位说话人，但转写仍需搭配 Parakeet 等独立的识别模型。Nemotron 3.5 Transcribe 将上述能力合并进单一检查点；不过它面向已录制的音频，不支持实时流式处理。
功能覆盖上也存在语言差异：音频问答目前仅以英语训练，各语言的能力完备程度不一。英伟达同时提醒，对人名、说话人切换和问答结果应做抽样核对。
架构：为"听"重造的 30B 语言模型
根据英伟达研究团队公布的技术资料，Nemotron 3.5 Transcribe 是一个语音增强语言模型（SALM）：由 Transformer 语音编码器与一个冻结的 Nemotron 3 说话人分离模型，共同对接 Nemotron 3.5 Lightning 30B-A3B——一个混合 Mamba-Transformer 架构的混合专家（MoE）语言模型。整个系统总参数约 30B，每 token 仅激活约 4.3B，这也是它能在单张 GPU 上运行的关键。
为了让分离模型"参与"转写，团队设计了并行专家编码器（Parallel Expert Encoder），将冻结分离模型输出的说话人活动信号注入语音识别编码器表征，在不改动语言模型结构的前提下实现"归属到人"的转写输出。推理侧，模型原生采用多 token 预测（MTP）投机解码，并配套独立训练的 DFlash2 草稿模型。
效率数字相当直观：在单张 RTX PRO 6000 Blackwell GPU 上，NVFP4 量化检查点配合 DFlash2 每秒可转写约 2,238 秒音频——处理 100 小时录音不到 3 分钟。
成绩单：以约六分之一的激活参数逼近最佳
基准成绩是这次发布的主要卖点。在 Hugging Face 英文 Open ASR 排行榜上，Nemotron 3.5 Transcribe 以 5.33% 的平均词错率（WER）居开源权重模型首位，多语言榜单平均词错率为 4.62%。在第三方 Artificial Analysis 语音转写排行上，它录得 2.81% 的 AA-WER，与榜首 Mistral Voxtral Small 的 2.77% 基本持平——而后者的激活参数约为 24B，是它的六倍左右。
说话人归属是优势最明显的方向：在 David AI 覆盖 21 种语言的评测中，它以 18.26% 的说话人错误率（DER）位列最低，并在 VoiceArena 的 14 个系统对比中排名第一；在说话人重叠的对话里，其漏词率为 8.32%，远低于约 31% 的中位数水平。英伟达称，这是其已知的第一个在"归属说话人的语音识别"任务上超越专用级联系统的语音语言模型。在给定预期实体清单的上下文转写任务中，它将 ContextASR-Bench 上的命名实体错误降低至原先的六分之一。
Granary v2：连数据管线一起开源
与模型一同发布的，还有训练数据管线 Granary v2 的公开部分：覆盖 48 种语言、463,062 小时音频的公开清单，源自 16 个语料库，语言数量较上一版的 25 种明显扩展（据 The Decoder 报道，Granary v2 数据集整体规模约 84.4 万小时，不同口径的统计存在差异）。每条录音提供三种转写变体（逐字、含语气词的规范文本、不含语气词的规范文本），并附带翻译、质量标记与问答对；制作该数据集所用的 NeMo Curator 数据管线同步开源，开发者可将同一套流程用于自己的录音。
可定制性有实例支撑：在印度医生问诊录音的案例中，仅改进提示词就将词错率从 30.8% 降至 23.8%；在此基础上微调后，对训练中未见过的说话人，词错率从 22.44% 降至 12.17%，相对降幅达 45.8%，并超过了一个开源医疗专用模型。整个适配流程在一块 GB300 上耗时约 14 GPU 小时，代价是通用英语词错率略有回升。英伟达建议开发者为评估预留至少 100 条真实、经人工校验的录音。
端侧落地：从笔记本到数据中心
由于权重开放（OpenMDW-1.1 许可证），开发者可自行决定音频在哪里处理——从桌面、笔记本到私有化部署的数据中心，而不必经过外部 API，这对医疗、金融等对隐私敏感的场景尤为关键。
部署路径上，模型可用 vLLM 或 NeMo-Speech.cpp 提供服务，单卡即可运行，覆盖从 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心 GPU 的硬件范围；量化版本即将上线，届时可在 RTX Spark、DGX Spark 端侧平台本地运行。英伟达同步介绍了 RTX Spark 平台——集成 Blackwell RTX GPU 与 Grace CPU 的超级芯片，最高 128GB 统一内存——其轻薄本产品线现由华硕、戴尔、惠普、联想、微软、微星等厂商提供。Baseten、DeepInfra 等托管服务也已上线在线端点。
竞争与边界
"可提示"转写并非英伟达独有：Mistral 的 Voxtral 家族同样把转写与音频理解合入一个模型，并已转向实时语音代理方向；AssemblyAI 也推出了 Universal 3 Pro。英伟达的差异化在于，以显著更小的激活参数拿下开源榜单的头部位置，并把说话人归属、翻译与问答整合进同一个检查点。
对开发者而言，这次发布真正改变的是工程结构：转写、说话人标注、翻译三段管线收敛为一次模型调用，维护成本与延迟随之下降；而对行业来说，一个可自托管、可微调、且附带完整数据管线的头部开源模型，正在继续拉低"高质量语音理解"的门槛。至于实时场景与多语言问答能力，仍是这款模型留给下一代迭代的空白。
