Macのローカル推論、llama.cppより最大6.4倍速いと言い張る新参が現れた — Metalを直に叩くBaseRT

ローカルLLMをMacで動かしている人にとって、推論の速さはずっと妥協ポイントだった。クラウドのAPIに比べれば遅いのは当然として、手元でもう少し軽快に動いてほしい——その不満に、真正面から「速度で殴る」と宣言して現れたのが BaseRT だ。

Apple Silicon専用のLLM推論ランタイムで、7月にProduct Huntへ登場、7月21日にエンジン0.1.7が公開された。触れ込みは強気で、llama.cppに対してprefill（プロンプト読み込み）で最大6.4倍高速。この一文だけで、ローカルLLM界隈が振り向くには十分だった。

何をどう速くしているのか

BaseRTのアプローチは「フレームワークを噛ませない」ことに尽きる。

多くのローカル推論ツールは、汎用的な計算フレームワークの上に実装されている。移植性は高いが、そのぶんハードウェア固有の性能を取りこぼす。BaseRTはそこを、AppleのGPU向けAPIである Metal を直接叩く ことで埋めにいった。具体的には、チップ固有のカーネルフュージョン、ユニファイドメモリを意識した最適化、独自のディスパッチロジック——要は「Apple Siliconというハードを知り尽くした上で、専用に書いた」実装だ。

汎用フレームワーク経由では捨てていた性能を回収する、という発想。llama.cppが「あらゆる環境で動く」ことを強みにしているのに対し、BaseRTは「Appleのチップでしか動かないが、その代わり最速」という真逆の賭けに出ている。M5のNeural Accelerator活用にも言及があり、新しいチップの性能を引き出す方向にも積極的だ。

正直、この割り切りは好みが分かれると思う。移植性を捨てるのはOSSツールとしては勇気がいる判断だが、「自分はMacでしか使わない」という層にとっては、むしろ迷いがなくて気持ちがいい。

オープンソースで、ちゃんと開かれている

開発元は、メルボルンとベルリンに拠点を持つ推論ラボ Base Compute。単なる思いつきツールではなく、arXivに技術論文が上がっているあたり、地に足のついたプロジェクトだ。

ライセンス面も好印象で、CLI・独自の.baseフォーマット・公開C APIヘッダ・各種言語バインディング（Python / Node / Rust / Swift）がApache-2.0で提供される。モデル変換ツール（Rust製CLI、モデルハブ、.base仕様）、C APIヘッダ、ベンチマーク、ドキュメントがコンポーネントとして揃っている。Swiftバインディングがあるのは、Macネイティブアプリに組み込む用途を明確に意識している証拠だろう。

訴求ポイントは「速度・プライバシー・トークン課金なし」。ローカル実行なので入力が外に出ず、当然ながら従量課金も発生しない。この3点はローカルLLM全般の利点だが、そこに「フレームワーク勢より速い」を足せるなら、確かに選ぶ理由になる。

これが揃うと何が現実的になるか

推論が速いこと自体は地味だが、速度はしばしば「できること」の質を変える。

たとえば、Macアプリにローカルモデルを組み込む場合、prefillが遅いと長いプロンプトを投げた瞬間に体感がガクッと落ちる。ここが数倍速くなるなら、コード補完・文書要約・ローカルRAGといった「待たされるとイラつく」用途が、実用の閾値を越えてくる。Swiftバインディングと組み合わせれば、クラウドに一切データを出さないネイティブAIアプリを、そこそこの体感速度で作れる——これはプライバシーを気にする開発者や、機密データを扱う現場にとって現実的な選択肢になる。

さらに一歩想像を広げると、複数のローカルモデルを役割分担させる構成——軽量モデルで下ごしらえ、必要なときだけ重いモデル、といったパイプライン——も、1体あたりの推論が速ければ全体の待ち時間が積み上がりにくくなる。ローカルでエージェント的な処理を回す試みは、推論速度がボトルネックになりがちなだけに、この手の「ハード直叩き」ランタイムの恩恵は大きい。

冷静に見ておく点

一方で、鵜呑みにはしないほうがいい部分もある。

「最大6.4倍」はprefillに限った数字で、しかも開発元自身のベンチマークだ。トークン生成（デコード）側や、実際のワークロード全体でどれだけ差が出るかは、第三者の独立検証を待ちたい。この種の性能主張は条件次第で大きく変わるのが常で、額面通りに受け取るのは危険だろう。

そして最大の制約は、当然ながら Apple Silicon専用 であること。WindowsやLinux、NVIDIA GPUでは動かない。エコシステムの広さや対応モデルの数では、long-standingなllama.cppにまだ及ばない可能性が高い。バージョンも0.1.7とごく初期で、本番投入するには枯れ具合が足りない。今の段階では「面白い挑戦者」であって、定番を置き換える存在ではない。

それでも、汎用フレームワークが取りこぼしていた性能を専用実装で拾いにいくという方向性は、はっきり筋が通っている。Macでローカルモデルを常用していて速度に不満があるなら、一度ベンチを取ってみる価値は十分ある。リリースの詳細はBase Computeの公開ブログにまとまっている。