NVIDIA が Hugging Face 向けチェックポイント nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B を公開した。Speech-Augmented Language Model(SALM)として、音声とテキスト指示を受け取りテキストを返す。録音音声向けでライブストリーミングは対象外。ライセンスは OpenMDW-1.1。BF16 本体に加え FP8・NVFP4 量子化版と DFlash2 投機デコード用ドラフトモデルも同時に置かれている。

#能力と構成

  • 書き起こし 40 言語、英語との翻訳 31 言語、話者付き書き起こし 13 言語
  • 1 本の録音は最大 1 時間、コンテキスト 65,536 トークン、話者ラベルは最大 8 人
  • 逐語・整形、ドメイン語彙のコンテキスト指定、話者ラベル、翻訳、言語同定、単語タイムスタンプ、音声 Q&A(Q&A は英語学習)
  • 言語モデルは Mamba-2 と Transformer のハイブリッド MoE。Parallel Expert Encoder で ASR エンコーダと話者エンコーダを併載。総 34B パラメータのうち推論時に有効なのは約 4.3B(エンコーダ含む)
  • 推奨 GPU は H100 80 GB 1 枚。vLLM 0.32.0 と NeMo Speech から当日リリースの統合で自己ホスト可能。Baseten・DeepInfra・Simplismart のホスト型エンドポイントも案内されている

Granary v2 データセット(48 言語・463,062 時間のマニフェスト)と NeMo Curator パイプライン、NeMo Speech ファインチューニング手順も同時公開。医療 ASR の事例では、プロンプト改善後の held-out 話者 WER をファインチューニングで 22.44% から 12.17% まで下げ、相対 45.8% 削減としている。

NVIDIA 自身の従量 API 単価表は未公開。比較用の公式 API 価格表は置かない。

#性能

モデルAA-WER
Voxtral Small2.8%
Nemotron 3.5 Transcribe2.8%
Inkling (256K)3.5%
Voxtral Mini3.8%
Canary Qwen 2.5B4.3%

AA-WER は Artificial Analysis が AA-AgentTalk・VoxPopuli-Cleaned-AA・Earnings22-Cleaned-AA を重み付けした非ストリーミング指数。オープンウェイト帯では Voxtral Small と同率 2.8% で、有効パラメータは約 4B と小さい。

#評価(ベンダー)

Hugging Face Open ASR Leaderboard(英語 9 公開セット)ではオープンウェイト平均 WER 4.71%(モデルカード掲載値)。7 言語多言語トラック 4.62%、長尺 10.98%。英語トラックのブログ掲載平均は 5.33%。David AI DAI-ASR-I18N の話者分離 21 言語 DER 18.26%、VoiceArena Diarization-Bench の cpWER 32.4% が先頭。

#参考文献