見て・聞いて・話すを同時に — ByteDanceのSeedRealtimeが崩す"AIとの会話の間"

いまの音声AIと話していて、一番もどかしいのは「間（ま）」だ。こちらが話し終わるのをAIが待ち、AIが話し終わるのをこちらが待つ。トランシーバーのように、交互にしか会話できない。人間同士の「相づちを打ちながら、時に遮りながら話す」あの自然さとは、まだ距離がある。

その「間」を崩しにきたのが、ByteDance（TikTokの親会社）のSeed部門が8月5日に公開したSeedRealtimeだ。

「全二重」で、見ながら聞きながら話す

SeedRealtimeを一言で表すなら、見て・聞いて・話すを、すべて同時にこなす単一のモデルである。音声・映像・テキストの連続的なストリームを途切れなく処理し、リアルタイムに反応する。1ターンずつのやり取りではなく、電話で会話するように、相手が話している最中でも聞き、必要なら割り込む——いわゆる「全二重（full-duplex）」だ。

技術的に面白いのは、その作り方だ。従来のリアルタイム音声AIは、音声認識（聞く）→視覚言語モデル（見て考える）→音声合成（話す）という別々のモジュールを数珠つなぎにしていた。この「カスケード方式」は、各段階で遅延が積み重なり、会話のテンポがぎこちなくなる。

SeedRealtimeは、この3つの役割を1つのアーキテクチャに統合した。MarkTechPostによれば、ByteDanceはこれによって、カスケード方式に比べて会話のテンポの問題を半減させたと報告している。聞くために話すのを止める、という段取りがなくなるわけだ。

そしてこれは研究デモで終わっていない。すでにByteDanceの対話アプリ「Doubao（豆包）」に搭載され、消費者が触れる製品へと降りてきている。車載への統合も報じられており、運転中に画面を見ずに「見て・聞いて・話す」AIと会話する、という使い方が想定されているようだ。

これで何ができるようになるか

全二重＋視覚を組み合わせると、いまの音声アシスタントではできなかったことが見えてくる。

まず、リアルタイムの家庭教師。カメラで手元のノートを映しながら「ここ合ってる？」と聞くと、AIが見て、途中で「あ、そこ符号が逆」と割り込んでくれる。話し終わるのを待たない分、教わっている感覚に近づく。

次に、視覚障害のある人の"目"。周囲をカメラで映し続け、AIが見えるものを実況しながら、こちらの質問に即座に答える。ターン制のAIでは「撮る→待つ→答え」の繰り返しになるが、全二重なら連続した会話として成立する。

そして、車載や店頭のようなハンズフリー環境。運転中や作業中、画面をタップせずに、見えている状況を共有しながら会話でタスクを進める。Seedのロードマップには、割り込みや相づちの精度向上、複数人シーンでの話者追跡、さらには予約や検索といった「ツールにつながったタスク」まで挙がっている。ここまで揃えば、AIとの会話は「命令を出す」から「一緒に状況を見る」へと質が変わる。

正直な評価と、もう一つの文脈

期待は大きいが、冷静にも見ておきたい。テンポの「半減」はByteDanceの自己申告であり、実際の自然さは第三者が触ってみないとわからない。全二重は理屈としては魅力的でも、割り込みの誤爆（言ってもいないのに遮る）が多ければ、かえってストレスになる。ここは実機での検証待ちだ。

もう一つ、背景として押さえておきたいことがある。SeedRealtimeが光る一方で、同じ時期にSeedの責任者が「海外トップとのLLM性能差はむしろ広がっている」と認めたとも報じられている。つまりByteDanceは、正面からの汎用モデル競争では西側を追いきれていないと自認しつつ、リアルタイム・マルチモーダルという別の土俵で存在感を出そうとしている——そう読むと、この発表の狙いがくっきりする。

汎用性能で真っ向勝負するのではなく、「見て・聞いて・話す」の即応性という一点で勝ちにいく。日本での需要という意味でも、中国発のリアルタイム音声×映像AIは、動画生成AIに続いて注目される領域になりそうだ。Doubaoは日本から直接触るのは難しいが、この全二重モデルの考え方は、いずれ各社の音声アシスタントに波及していくはずだ。まずはその第一歩として、ByteDance Seedの動きを追っておく価値がある。