動画を自然言語で操るAIエージェントを自分で組める — TwelveLabsのオープンソース「Jockey」

「先週のイベント映像から、参加者が拍手しているシーンだけ集めて3分にまとめて」——こういう指示を動画に対して自然言語で出せるツールは、ここ1年でいくつか出てきた。TwelveLabsのRodeoはその代表格で、映像を「理解」して編集する完成度の高いアプリだ。

ただ、既製アプリには天井がある。決められた操作しかできないし、自社のワークフローに深く組み込むには融通が利かない。「この検索ロジックを自分好みに変えたい」「社内システムと繋ぎたい」となると、アプリでは手が届かない。

そこで開発者の選択肢になるのがJockeyだ。TwelveLabsが公開しているオープンソースの会話型動画エージェントで、動画版のRodeoを「自分で組み立てる」ための土台にあたる。7月にSeries Bで1億ドル（約150億円）を調達したTwelveLabsが、APIだけでなくエージェントの設計そのものを開放している点が面白い。

何ができるのか

Jockeyがやることは、ひとことで言えば「自然言語での動画処理の自動化」だ。膨大な映像ライブラリに対して話しかけると、必要なシーンを検索し、切り出し、繋ぎ合わせ、テキストを生成する。

土台になっているのは、TwelveLabsのマルチモーダル動画理解API（映像・音声・動き・文脈を横断して理解する）と、LangChain製のエージェント基盤LangGraphだ。文字起こしに頼らず、映像そのものを「見て」検索できるので、無言のカットや雰囲気ベースの指示も通る。この理解力の部分はRodeoと同じ血筋だ。

決定的に違うのは、これがアプリではなくコードだという点にある。GitHub（twelvelabs-io/tl-jockey）で全ソースが公開されていて、自分の用途に合わせて改造・拡張できる。

「監督・立案・作業員」の三層で動く

Jockeyの中身は、3つの役割に分かれたエージェントで構成されている。ここが個人的に一番面白いところだ。

Supervisor（監督役） が全体の調整をする。ユーザーの指示を受け取り、タスクを割り振り、途中でミスがあれば軌道修正し、計画通り進んでいるかを見張る。

Planner（立案役） は、複雑な依頼を作業員が実行できる粒度まで噛み砕く。「イベント映像からハイライトを作って」という曖昧な指示を、「該当クリップを検索 → 尺を判定 → 順序を決めて連結」といった手順に分解する。

Workers（作業員） が、分解された個々のタスクを実際にこなす。動画の取得、結合、分割といった処理を担当する。

指示が来ると、LangGraphがまずクエリの複雑さを判定する。単純な質問なら短いテキスト応答で返し、複雑なら動画処理のチェーンに回す。この「複雑さに応じて処理経路を変える」設計のおかげで、無駄な処理を挟まずに動く。

人間の映像制作チームを、そのままソフトウェアの構造に写し取ったような作りだ。監督がいて、段取りを組む人がいて、手を動かす人がいる。

Rodeoではなくこちらを選ぶ理由

正直に言えば、多くの人にとってはRodeoのようなアプリのほうがすぐ使えて便利だ。JockeyはセットアップにコードとAPIキーが要るし、動かすだけでも一定のエンジニアリング知識が要る。手軽さでは勝負にならない。

Jockeyの価値は、その先にある。たとえば自社の動画配信サービスに「自然言語で過去の全アーカイブを検索して切り抜きを作る」機能を組み込みたいとする。Rodeoのような外部アプリでは実現できないが、Jockeyを土台にすれば、検索ロジックも出力形式も自社仕様に作り替えられる。

さらに、三層構造のうち Worker を差し替えれば、TwelveLabsの動画理解に加えて、字幕生成AIや音声合成、サムネイル生成といった別のツールを作業員として組み込むことも設計上は可能だ。「動画を理解するエージェント」を「動画を理解して、要約して、ナレーションまで付けるエージェント」に育てられる。既製アプリを待つのではなく、自分の欲しい動画エージェントを自分で定義できる——これがオープンソースであることの一番の旨味だと思う。

気になる点

Jockeyはあくまで開発者向けの「素材」だ。LangGraphとTwelveLabs APIの両方に触る必要があり、非エンジニアがそのまま使えるものではない。動画理解APIの利用料も別途かかるため、規模が大きくなればコストは無視できない。

それと、この種のエージェントは「指示の解釈」がまだ完璧ではない。曖昧な指示を投げれば、Plannerが意図と違う分解をすることもあるだろう。Supervisorがミス回復を担うとはいえ、期待通りの編集結果を一発で得るには、プロンプトの工夫と検証がいる。過度な期待は禁物だ。

とはいえ、動画理解のエージェントを、設計思想ごとオープンに触れる教材としての価値は高い。エージェントを自分で組んでみたい開発者にとって、Supervisor/Planner/Workersという構造を実コードで学べるのは大きい。まずはGitHubのリポジトリを覗いてみるといい。