NVIDIA、生成速度2.4倍の「拡散型」言語モデルを無料公開 — Nemotron TwoTowerの仕組み

今のLLMは、文章を左から右へ、1トークンずつ順番に吐き出している。ChatGPTの返答が「タイプするように」表示されるのは演出ではなく、実際に1語ずつ計算しているからだ。この逐次生成が、速度のボトルネックになっている。

NVIDIAがこの前提そのものに手を入れてきた。7月初旬に公開された Nemotron-Labs-TwoTower は、画像生成でおなじみの「拡散（diffusion）」の考え方を言語モデルに持ち込み、オープンウェイトで誰でも使えるようにしたモデルだ。うたい文句は、再学習なしで生成スループット2.42倍、しかも品質は元の98.7%を維持。

正直、最初にスペックを見たときは「その2つは両立しないだろう」と思った。速くすれば質が落ちるのがこの手の話の相場だからだ。だが仕組みを読むと、なるほどよく考えられている。

拡散型の言語モデルとは何か

まず「拡散言語モデル」を軽く整理しておく。

画像生成AI（Stable DiffusionやMidjourney）は、ノイズだらけの状態から少しずつノイズを取り除いて絵を完成させる。これが拡散モデルだ。テキストにこれを応用すると、文章全体をぼんやりした状態から一気に固めていく——つまり1トークンずつ待たずに、複数のトークンを並列で確定できる。

理屈の上では逐次生成より速い。だが従来の拡散言語モデルには弱点があった。ゼロから拡散専用モデルを訓練する必要があり、コストがかかるうえ、既存の高品質な自己回帰モデルが積み上げてきた知識を捨てることになる。ここが普及を阻んでいた。

「2つの塔」というアイデア

TwoTowerの名前の由来は、その構造にある。モデルが2つの塔（tower）に分かれているのだ。

ひとつは AR（自己回帰）コンテキスト塔。これは既存のオープンモデル Nemotron-3-Nano-30B-A3B——Mamba-2、セルフアテンション、MoEを組み合わせたハイブリッド構成——をそのまま凍結して使う。つまり元モデルの賢さには一切触らない。

もうひとつが denoiser（ノイズ除去）塔。こちらだけを新たに訓練し、拡散方式で複数トークンを並列生成する役割を担う。

ポイントは、賢さを担う塔を凍結したまま、速さを担う塔だけを後付けで訓練している点だ。だから元モデルの品質（98.7%維持）を保ちつつ、生成だけを高速化できる。denoiser塔の訓練に使われたトークンは約2.1兆で、これは元モデルの事前学習25兆トークンのわずか1割弱。既存モデルを作り直さず、上に速度レイヤーを載せるという発想がこのモデルの肝だと思う。

公開されたチェックポイントは2つの塔を合わせて約60Bパラメータ。ライセンスはNVIDIA Nemotron Open Model Licenseで、NVIDIAの公式サイトや研究ページから入手できる。

この設計が効いてくる場面

数字の2.42倍だけ見ても実感が湧きにくいので、これが何を可能にするかを考えてみる。

いちばん大きいのは、エージェント型ワークフローのレスポンス改善だ。AIエージェントは1つのタスクを終えるまでに何十回もモデルを呼ぶ。1回あたりの生成が2倍以上速くなれば、体感の待ち時間が積み上がりで大きく縮む。長時間走らせる自律エージェントほど、この差は効く。

もうひとつは、コスト面での波及。同じGPUで2.4倍のトークンを吐けるなら、単位時間あたりの処理量が増え、実質的な推論コストが下がる。オープンウェイトなので自前でホストする事業者にとっては、そのままインフラ費の圧縮になる。

そして少し先の話として、「凍結+速度塔」という手法が他のオープンモデルにも横展開される可能性がある。もしこのTwoTower方式が、LlamaやQwenのような既存モデルにも後付けできる汎用テクニックとして確立すれば、「賢さはそのまま、速度だけ後から足す」というアップグレード経路が一般化するかもしれない。そこまでいけば、モデル選びの基準に「拡散塔を載せられるか」が加わる未来も考えられる。もっとも、これは今回のリリースが直接約束しているものではなく、あくまで方向性としての期待だ。

正直な評価

素直に感心したのは、既存資産を捨てずに高速化するという割り切りの良さだ。フルスクラッチの拡散LLMが伸び悩むなか、「AR塔は凍結」と決め打ちしたことで、品質と速度のトレードオフをかなり緩和している。

一方で、微妙な点も正直に書いておく。ベンチマークでは総合品質98.7%維持とされるが、コードと数学ではわずかに劣化が見られるという報告がある。並列生成は、厳密な論理の一貫性が求められるタスクとは相性が難しい面があるのだろう。用途によっては、素の自己回帰モデルの方が安全だ。

また、これはあくまで研究色の強いリリースで、すぐに業務投入できる完成品というより「拡散LLMがここまで来た」というマイルストーンに近い。とはいえ、拡散型が実用速度の領域に踏み込んできたこと自体が今回の見どころだ。逐次生成が当たり前だった常識が、静かに揺らぎ始めている。